●1背景和概念1定義Apache Hadoop1Apache Hadoop的發展簡史3大數據的定義4Hadoop作為數據湖5使用Hadoop:管理員、用戶或兩種身份兼具7原始的MapReduce7Apache Hadoop的設計原則8Apache Hadoop MapReduce示例8MapReduce的優勢10Apache Hadoop V1 MapReduce操作11使用Hadoop V2 超越MapReduce13Hadoop V2 YARN操作設計14Apache Hadoop項目生態繫統16總結和補充資料182安裝攻略21核心Hadoop服務21Hadoop配置文件22規劃你的資源23硬件的選擇23軟件選擇24在臺式機或筆記本電腦上安裝25安裝Hortonworks HDP 2.2沙箱25用Apache源代碼安裝Hadoop32配置單節點YARN服務器的步驟33運行簡單的MapReduce示例42安裝 Apache Pig（可選）42安裝Apache Hive（可選）43使用Ambari安裝Hadoop44執行Ambari安裝45撤消Ambari安裝59使用Apache Whirr在雲中安裝Hadoop59總結和補充資料653HDFS基礎知識67HDFS設計的特點67HDFS組件68HDFS塊復制71HDFS安全模式72機架的識別73NameNode高可用性73HDFS NameNode聯邦75HDFS檢查點和備份76HDFS快照76HDFS NFS網關76HDFS用戶命令77簡要HDFS命令參考77一般HDFS命令78列出HDFS中的文件79在HDFS中創建一個目錄80將文件復制到HDFS80從HDFS復制文件81在HDFS中復制文件81刪除在HDFS中的文件81刪除在HDFS中的目錄81獲取HDFS狀態報告81HDFS的Web圖形用戶界面82在程序中使用HDFS82HDFS Java應用程序示例82HDFS C應用程序示例86總結和補充資料884運行示例程序和基準測試程序91列出可用的示例92運行Pi示例93使用Web界面監控示例95運行基本Hadoop基準測試程序101運行Terasort測試101運行TestDFSIO基準102管理Hadoop MapReduce作業103總結和補充資料1045Hadoop MapReduce框架107MapReduce模型107MapReduce並行數據流110容錯和推測執行114推測執行114Hadoop MapReduce硬件115總結和補充資料1156MapReduce117編譯和運行Hadoop WordCount的示例117使用流式接口122使用管道接口125編譯和運行Hadoop Grep鏈示例127調試MapReduce131作業的列舉、清除和狀態查詢131Hadoop日志管理131啟用YARN日志聚合132Web界面日志查看133命令行日志查看133總結和附加資源1357基本的Hadoop工具137使用Apache Pig137Pig示例演練138使用Apache Hive140Hive示例演練140更高級的Hive示例142使用Apache Sqoop獲取關繫型數據145Apache Sqoop導入和導出方法145Apache Sqoop版本更改147Sqoop示例演練148使用Apache Flume獲取數據流155Flume的示例演練157使用Apache Oozie管理 Hadoop工作流160Oozie示例演練162使用Apache HBase170HBase數據模型概述170HBase示例演練171總結和補充資料1768Hadoop YARN應用程序179YARN分布式shell179使用YARN分布式shell180一個簡單的示例181使用更多的容器182帶有shell參數的分布式 shell 示例183YARN應用程序的結構185YARN應用程序框架187Hadoop MapReduce188Apache Tez188Apache Giraph189Hoya: HBase on YARN189Dryad on YARN189Apache Spark189Apache Storm190Apache REEF:可持續計算執行框架190Hamster:Hadoop和MPI在同一集群190Apache Flink:可擴展的批處理和流式數據處理191Apache Slider：動態應用程序管理191總結和補充資料1929用Apache Ambari管理Hadoop193快速瀏覽 Apache Ambari194儀表板視圖194服務視圖197主機視圖199管理視圖201查看視圖201Admin下拉菜單202更改Hadoop屬性206總結和補充資料21210基本的Hadoop管理程序213基本的Hadoop YARN管理214停用YARN節點214YARN WebProxy214使用 JobHistoryServer215管理YARN作業215設置容器內存215設置容器核心216設置MapReduce屬性216基本的HDFS管理217NameNode用戶界面217將用戶添加到HDFS219在HDFS上執行FSCK220平衡HDFS221HDFS安全模式222停用HDFS節點222SecondaryNameNode223HDFS快照223配置到HDFS的NFSv3網關225容量調度程序背景知識229Hadoop 2的MapReduce兼容性231啟用應用主控程序的重新啟動功能231計算一個節點的承載容量232運行Hadoop 1的應用程序233總結和補充資料235附錄A本書的網頁和代碼下載237附錄B入門流程圖和故障排除指南239入門流程圖239常見的Hadoop故障排除指南239規則1:不要驚慌239規則2：安裝並使用Ambari244規則3：檢查日志244規則4：簡化情況245規則5：在互聯網上提問245其他有用的提示246附錄C按主題列出的Apache Hadoop資源彙總253常規的Hadoop 信息253Hadoop安裝攻略253HDFS254示例255MapReduce255MapReduce 編程255基本工具256YARN應用程序框架257Ambari管理257基本的Hadoop 管理257附錄D安裝Hue Hadoop GUI259Hue安裝259安裝和配置Hue262啟動Hue263Hue用戶界面263附錄E安裝Apache Spark267在集群上安裝Spark267在整個集群中啟動Spark268在偽分布式的單節點安裝版本中安裝和啟動Spark270運行Spark示例271

本書首先介紹了Hadoop的背景知識，包括Hadoop 2和YARN的工作原理和對Hadoop 1的改進，然後將數據湖與傳統存儲比較。第2章到第8章，分別介紹了Hadoop 2和核心服務的安裝方法、Hadoop分布式文件繫統、MapReduce和YARN編程，以及利用Apache Pig等Hadoop工具簡化編程。很後兩章講述了利用Apache Ambari等工具管理Hadoop和基本的管理程序。附錄包括Hadoop 2故障診斷和排除的基礎知識、Apache Hue和Apache Spark安裝等。本書通俗易懂，具有大量操作實例，易於上手，適合Hadoop用戶、管理員、開發和運維人員、程序員、架構師、分析師和數據科學工作者閱讀。

（美）Douglas Eadline（道格拉斯·伊德理恩） 著 盧濤 譯