作 者:（美）Ilya Ganelin（伊利亞·甘列林）等 著 李剛 譯
定 價:65
出 版 社:電子工業出版社
出版日期:2017年05月01日
頁 數:220
裝 幀:簡裝
ISBN:9787121313646
本書涵蓋了開發及維護生產級Spark應用的各種方法、組件與有用實踐。作者均為大數據社區的專家，帶著你一步步從概念驗證或Spark應用的demo版遷移到生產環境，用真實案例分析常見問題、、挑戰和機會。調優Spark應用管理資源、組織存儲、做好監控了解在生產環境中使用Spark時有哪些潛在的問題知曉Spark用在何處很能發揮作用預估集群的規模，搞清楚硬件需求通過內存管理、分區、shuffle等技術提升性能用Kerberos保證數據的安全解決Spark streaming在生產環境中的問題將Spark等
● 章 成功運行Spark job / 1安裝所需組件 / 2原生安裝Spark Standalone 集群 /3分布式計算的發展史/ 3步入雲時代 /5理解資源管理/6使用各種類型的存儲格式 /9文本文件/11Sequence 文件/13Avro 文件/ 13Parquet 文件 /13監控和度量的意義/ 14Spark UI/ 14Spark Standalone UI/ 17Metrics REST API / 17Metrics System / 18外部監控工具 / 18總結 /19第2 章 集群管理 /21背景知識/ 23Spark 組件 / 26Driver / 27workers 與executors /28配置 / 30Spark Standalone/33架構 / 34單節點設置場景 / 34多節點設置 / 36YARN / 36架構 / 38動態資源分配 /41場景 /43Mesos/ 45安裝/46架構 / 47動態資源分配/ 49基本安裝場景 / 50比較 / 52總結 /56第3 章 性能調優 /59Spark 執行模型/ 60分區 /62控制並行度/62分區器/shuffle 數據 /65shuffle 與數據分區 / 67算子與shuffle / 70shuffle 並不總是壞事 /75序列化 / 75Kryo 注冊器 / 77Spark 緩存 / 77SparkSQL 緩存 / 81內存管理 /82垃圾回收 / 83共享變量 / 84廣播變量 / 85累加器 /87數據局部性 / 90總結 / 91第4 章 安全/ 93架構/ 94Security Manager/ 94設定配置 / 95ACL / 97配置 / 97提交job / 98Web UI/ 99網絡安全 / 107加密/ 108事件日志 /113Kerberos/114Apache Sentry./114總結 /115第5 章 容錯或job 執行/ 117Spark job 的生命周期 /118Spark master /119Spark driver/ 122Spark worker /124job 生命周期 /124job 調度 /125應用程序內部調度 / 125用外部工具進行調度 / 133容錯 /135內部容錯與外部容錯 / 136SLA/ 137RDD / 138Batch vs Streaming / 145測試策略 / 148推薦配置/ 155總結 / 158第6 章 Spark /159數據倉庫 /159SparkSQL CLI/161Thrift JDBC/ODBC 服務器 / 162Hive on Spark/ 162機器學習 / 1DataFrame / 165MLlib 和ML / 167Mahout on Spark / 174Hivemall On Spark/ 175外部的框架 / 176Spark Package / 177XGBoost/ 179spark-jobserver / 179未來的工作 /182與參數服務器集成 / 184深度學習 / 192Spark 在企業中的應用 / 200用Spark 及Kafka 收集用戶活動日志 / 200用Spark 做實時推薦/ 202Twitter Bots 的實時分類 / 204總結 / 205
本書針對spark從驗證性環境遷移到實際生產環境時會遇到的各種問題給出了實際的幫助，涵蓋了開發及維護生產級Spark應用的各種方法、組件與有用實踐。全書分為6章， ~ 2章幫助讀者深入理解Spark的內部機制以及它們在生產流程中的含義；第3章和第5章闡述了針對配置參數的法則和權衡方案，用來調優Spark，改善性能，獲得高可用性和容錯性；第4章專門討論Spark應用中的安全問題；第6章則全面介紹生產流，以及把一個應用遷移到一個生產工作流中時所需要的各種組件，同時對Spark生態繫統進行了梳理。
（美）Ilya Ganelin（伊利亞·甘列林）等 著 李剛 譯
Ilya Ganelin 從機器人專家成功跨界成為一名數據工程師。他曾在密歇根大學花費數年時間研究自發現機器人（self-discovering robot），在波音公司從事手機及無線嵌入式DSP（數據信號處理）軟件開發項目，隨後加入Capital One 的數據創新實驗室，由此進入大數據領域。Ilya是Apache Spark核心組件的活躍貢獻者以及Apache Apex的提交者（committer），他希望研究構建下一代分布式計算平臺。同時，Ilya還是一個狂熱的面包烘焙師、廚師、賽車手和滑雪愛好者。Ema Orhian 是一位對伸縮性算法充等
引言Apache Spark 一個易於掌握的、面向大規模計算的分布式計算框架。它又被稱為“計算網格”或者“計算框架”——考慮到Spark 使開發人員能夠便捷地獲得大量數據且進行分析，這些說法也是正確的。Apache Spark 由Matei Zaharia 2009 年在加州大學伯克利分校創建，一開始把它作為一個研究項目，後來在2010 年捐給開源社區。2013 年，Spark 作為一個孵化項目加入Apache 軟件基金會，並於2014 年成為項目（TLP），一直發展到現在。本書面向的讀者如果你拿起這本書，我們認為你應該對Spark 非常感興趣。本書面向的讀者群體是開發人員、Spark 應用的項目經理，以及那些準備考慮將開發的Spark&nb等
