●前言第1篇 Hadoop基礎知識第1章 初識Hadoop21.1 大數據初探21.1.1 大數據技術21.1.2 大數據技術框架31.1.3 大數據的特點31.1.4 大數據在各個行業中的應用41.1.5 大數據計算模式41.1.6 大數據與雲計算、物聯網的關繫41.2 Hadoop簡介51.2.1 Hadoop應用現狀61.2.2 Hadoop簡介與意義61.3 小結6第2章 Hadoop的安裝與配置72.1 虛擬機的創建72.2 安裝Linux繫統102.3 配置網絡信息112.4 克隆服務器122.5 SSH免密碼登錄132.6 安裝和配置JDK152.6.1 上傳安裝包152.6.2 安裝JDK162.6.3 配置環境變量162.7 Hadoop環境變量配置162.7.1 解壓縮Hadoop壓縮包172.7.2 配置Hadoop的bin和sbin文件夾到環境變量中172.7.3 修改/etc/hadoop/hadoop-env.sh172.8 Hadoop分布式安裝172.8.1 偽分布式安裝172.8.2 接近分布式安裝192.9 小結21第3章 Hadoop分布式文件繫統223.1 DFS介紹223.1.1 什麼是DFS223.1.2 DFS的結構223.2 HDFS介紹233.2.1 HDFS的概念及體繫結構233.2.2 HDFS的設計233.2.3 HDFS的優點和缺點243.2.4 HDFS的執行原理243.2.5 HDFS的核心概念253.2.6 HDFS讀文件流程273.2.7 HDFS寫文件流程283.2.8 Block的副本放置策略293.3 Hadoop中HDFS的常用命令303.3.1 對文件的操作303.3.2 管理與更新313.4 HDFS的應用313.4.1 基於Shell的操作313.4.2 基於Java API的操作333.4.3 創建文件夾343.4.4 遞歸顯示文件343.4.5 文件上傳353.4.6 文件下載353.5 小結36第4章 基於Hadoop 3的HDFS高可用374.1 Hadoop 3.x的發展374.1.1 Hadoop 3新特性374.1.2 Hadoop 3 HDFS集群架構384.2 Hadoop 3 HDFS接近分布式搭建394.2.1 安裝JDK404.2.2 配置JDK環境變量404.2.3 配置免密碼登錄404.2.4 配置IP和主機名字映射關繫414.2.5 SSH免密碼登錄設置414.2.6 配置Hadoop 3.1.0424.3 什麼是HDFS高可用474.3.1 HDFS高可用實現原理474.3.2 HDFS高可用實現484.4 搭建HDFS高可用504.4.1 配置ZooKeeper504.4.2 配置Hadoop配置文件524.4.3 將配置文件復制到其他節點上544.4.4 啟動JN節點544.4.5 格式化554.4.6 數據到node2節點上554.4.7 格式化ZKFC554.4.8 啟動集群564.4.9 通過瀏覽器查看集群狀態564.4.10 高可用測試574.5 小結58第2篇 Hadoop核心技術第5章 Hadoop的分布式協調服務——ZooKeeper605.1 ZooKeeper的核心概念605.1.1 Session會話機制605.1.2 數據節點、版本與Watcher的關聯615.1.3 ACL策略615.2 ZooKeeper的安裝與運行615.3 ZooKeeper服務器端的常用命令635.4 客戶端連接ZooKeeper的相關操作645.4.1 查看ZooKeeper常用命令645.4.2 connect命令與ls命令655.4.3 create命令——創建節點655.4.4 get命令——獲取數據與信息665.4.5 set命令——修改節點內容665.4.6 delete命令——刪除節點675.5 使用Java API訪問ZooKeeper675.5.1 環境準備與創建會話實例685.5.2 節點創建實例695.5.3 Java API訪問ZooKeeper實例705.6 小結73第6章 分布式離線計算框架——MapReduce746.1 MapReduce概述746.1.1 MapReduce的特點746.1.2 MapReduce的應用場景756.2 MapReduce執行過程766.2.1 單詞統計實例766.2.2 MapReduce執行過程776.2.3 MapReduce的文件切片Split776.2.4 Map過程和Reduce過程786.2.5 Shuffle過程786.3 MapReduce實例796.3.1 WordCount本地測試實例796.3.2 ETL本地測試實例846.4 溫度排序實例866.4.1 時間和溫度的封裝類MyKey.Java876.4.2 Map任務MyMapper.java886.4.3 數據分組類MyGroup.Java896.4.4 溫度排序類MySort.java896.4.5 數據分區MyPartitioner.java906.4.6 Reducer任務MyReducer.java906.4.7 主函數RunJob.java916.5 小結94第7章 Hadoop的集群資源管理繫統——YARN957.1 為什麼要使用YARN957.2 YARN的基本架構967.2.1 ResourceManager進程967.2.2 ApplicationMaster和NodeManager977.3 YARN工作流程977.4 YARN搭建987.5 小結100第8章 Hadoop的數據倉庫框架——Hive1018.1 Hive的理論基礎1018.1.1 什麼是Hive1018.1.2 Hive和數據庫的異同1028.1.3 Hive設計的目的與應用1048.1.4 Hive的運行架構1048.1.5 Hive的執行流程1058.1.6 Hive服務1068.1.數據存儲Metastore1068.1.8 Embedded模式1078.1.9 Local模式1088.1.10 Remote模式1098.2 Hive的配置與安裝1098.2.1 安裝MySQL1108.2.2 配置Hive1128.3 Hive表的操作1138.3.1 創建Hive表1148.3.2 導入數據1148.4 表的分區與分桶1158.4.1 表的分區1158.4.2 表的分桶1178.5 內部表與外部表1188.5.1 內部表1198.5.2 外部表1198.6 內置函數與自定義函數1218.6.1 內置函數實例121

本書針對願意加入大數據行業的初學者量身定做，以簡練風趣的語言介紹了大數據程核心技術及相關案例。內容包括了數據的基本概念、Hadoop的安裝與配置、HDFS、基於Hadoop3的HDFS高可用、Zookeeper、MapReduce、YARN、Sqoop、KafKa、Redis，每個知識點配有可運行的案例，同時結合企業實際案例，讓讀者能夠掌握從大數據環境搭建到大數據核心技術，並且進一步熟悉企業案例的分析及開發過程，從而輕松進入到大數據領域。本書實用性強，非常適合Hadoop大數據分析入門讀者閱讀，也適合相關院校作為大數據分析與挖掘的教材使用。

溫春水 畢潔馨 著

隨著互聯網的發展，人們日常工作和生活中產生的數據越來越多，伴隨著信息的爆炸，大數據應運而生。分布式集群對大量數據的存儲和分析處理有極大優勢，因此Hadoop的各種技術得到了廣泛應用和普及。大數據項目的開發除了需要扎實的理論基礎外，還需要掌握Hadoop的搭建環境和運行部署方法，這樣纔能在大數據技術領域有更強的競爭力和職業發展前景。    目前市場上關於Hadoop的原理介紹和環境搭建的圖書不少，但是真正從實戰出發，通過“理論講解→環境搭建→項目案例實戰”這種符合初學者學習規律的科學編排體繫的圖書卻不多。本書便是基於這一編排體繫而寫，以實戰為主旨，通過Hadoop的14個基礎組件的相關模塊和4個完整的項目實戰案例，讓讀者在理解大數據原理的同時，完成Hadoop的環境搭建，並親自動手實現書中的實戰案例，提高開發水平和項目實戰能力。  等