"《精通Hadoop3》闡述了Hadoop生態圈中的高級概念，並通過安全機制、監測機制和數據管理機制構建高性能的Hadoop數據管線。除此之外，本書還利用Apache Spark 和Flink改進企業級應用程序，並考查Hadoop的內部工作機制，包括一些真實案例的構建方案。同時，我們還將通過Hadoop 3數據平臺探討企業級應用程序的很好實踐方案，其中涉及授權和身份驗證機制。隨後，我們將學習如何在Hadoop中對數據進行建模、深入了解基於Hadoop 3的分布式計算機制，並查看不同的數據批處等

●第1部分 Hadoop 3簡介第1章 Hadoop 3簡介31.1 Hadoop起源和時間軸31.1.1 Hadoop的起源41.1.2 時間軸51.2 Hadoop 3及其特性71.3 Hadoop邏輯視圖81.4 Hadoop發行版本101.4.1 本地版本111.4.2 雲版本111.5 回顧121.6 本章小結12第2章 深入理解Hadoop分布式文件繫統132.1 技術需求132.2 定義HDFS132.3 深入研究HDFS體繫結構142.3.1 HDFS邏輯結構152.3.2 數據分組的概念182.3.3 HDFS通信體繫結構192.4 NameNode內部機制212.5 數據本地性和機架感知222.6 DataNode內部機制242.7 Quorum Journal Manager（QJM）252.8 Hadoop 3.x中的高可用性262.9 數據管理272.9.數據管理282.9.2 使用二級NameNode的檢查點312.9.3 數據集成322.9.4 HDFS快照322.9.5 數據平衡機制332.9.6 均衡器的很好應用方案352.10 HDFS寫入、讀取操作362.10.1 寫入工作流362.10.2 讀取工作流382.10.3 短路讀取402.11 管理Hadoop 3.x中的磁盤傾斜數據412.12 HDFS中的延遲持久化寫入操作422.13 Hadoop 3.x中的糾刪碼432.13.1 糾刪碼的優點452.13.2 糾刪碼的缺點452.14 HDFS公共接口452.14.1 HDFS讀取操作462.14.2 HDFS寫入操作482.14.3 HDFSFileSystemWrite.java文件492.14.4 HDFS刪除操作502.15 HDFS命令參考502.15.1 文件繫統命令502.15.2 分布式復制522.15.3 管理命令532.16 回顧542.17 本章小結54第3章 YARN資源管理器553.1 YARN體繫結構553.1.1 資源管理器組件583.1.2 節點管理器核心603.2 YARN作業調度機制簡介603.3 FIFO調度器613.4 計算能力調度器613.5 公平調度器633.5.1 調度隊列633.5.2 配置公平調度器643.6 資源管理器的高可用性653.6.1 資源管理器高可用性的體繫結構663.6.2 配置資源管理器高可用性673.7 節點標記693.8 Hadoop 3.x中的YARN時間軸服務器753.9 Hadoop 3.x中的機會型容器773.10 YARN中的Docker容器793.10.1 配置Docker容器803.10.2 運行Docker鏡像803.10.3 運行容器803.11 YARN REST API813.11.1 資源管理API813.11.2 節點管理器REST API853.12 YARN命令參考863.12.1 用戶命令873.12.2 應用程序命令873.12.3 日志命令883.12.4 管理員命令893.13 本章小結90第4章 MapReduce內部機制914.1 技術需求914.2 深入了解Hadoop MapReduce框架914.3 YARN和MapReduce954.4 Hadoop框架中的MapReduce工作流974.5 常見的MapReduce模式1004.5.1 求和模式1004.5.2 過濾模式1124.5.3 連接模式1164.5.4 復合連接1234.6 MapReduce用例1264.6.1 MovieRatingMapper1274.6.2 MovieRatingReducer1284.6.3 MovieRatingDriver1284.7 優化MapReduce1304.7.1 硬件配置1304.7.2 操作繫統調試1314.7.3 優化技術1324.7.4 運行期配置1334.7.5 文件繫統優化1334.8 本章小結134第2部分 Hadoop生態圈第5章 Hadoop中的SQL1375.1 技術需求1375.2 Presto1375.2.1 Presto體繫結構1385.2.2 安裝Presto並執行基本的查詢操作1395.2.3 函數1425.2.4 Presto連接器1445.3 Hive1475.3.1 Apache Hive體繫結構1485.3.2 安裝和運行Hive1495.3.3 Hive查詢1505.3.4 選擇文件格式1545.3.5 HCatalog簡介1565.3.6 HiveServer2簡介1575.3.7 Hive UDF1575.3.8 理解Hive中的ACID1615.3.9 分區機制和分桶機制1665.3.10 很好實踐1675.4 Impala1685.4.1 Impala體繫結構1685.4.2 了解Impala接口和查詢1705.4.3 Impala實戰1715.4.4 加載CSV文件中的數據1735.4.5 很好實踐方案1755.5 本章小結176第6章 實時處理引擎1776.1 技術需求1776.2 Spark1776.2.1 Apache Spark內部機制1786.2.2 彈性分布式數據集1806.2.3 安裝並運行第一個Spark作業1826.2.4 累加器和廣播變量1886.2.5 理解數據框和數據集1896.2.6 Spark集群管理器1926.2.7 很好實踐1936.3 Apache Flink1956.3.1 Flink體繫結構1956.3.2 Apache Flink生態圈組件1966.3.3 數據流和數據集API1986.3.4 表API2016.3.5 很好實踐2036.4 Storm/Heron2046.4.1 Storm/Heron體繫結構2056.4.2 理解Storm Trident2106.4.3 Storm集成2116.4.4 很好實踐2126.5 本章小結212第7章 Hadoop生態圈組件2137.1 技術需求2137.2 Pig2137.2.1 Apache Pig體繫結構2147.2.2 安裝並運行Pig2167.2.3 Pig Latin和Grunt2177.2.4 編寫Pig中的UDF2187.2.5 Pig和Hive2217.2.6 很好實踐2227.3 HBase2227.3.1 HBase體繫結構及其概念2237.3.2 CAP理論2257.3.3 HBase操作機器示例2277.3.4 安裝2307.3.5 很好實踐2327.4 Kafka2337.4.1 Apache Kafka體繫結構2347.4.2 安裝和運行Apache Kafka2367.4.3 生產者和使用者的內部機制2387.4.4 編寫生產者和使用者應用程序2417.4.5 Kafka的ETL連接2447.4.6 很好實踐2487.5 Flume2497.5.1 Apache Flume體繫結構2497.5.2 深入理解源、通道和接收器2517.5.3 Flume2657.5.4 用例—Twitter數據2717.5.5 很好實踐2737.6 本章小結274第3部分 Hadoop的實際應用第8章 定義Hadoop中的應用程序2778.1 技術需求2778.2 文件格式2778.2.1 了解文件格式2788.2.2 文本2798.2.3 序列文件2798.2.4 Avro2828.2.5 優化的行和列（ORC）2848.2.6 Parquet2858.3 數據壓縮2858.3.1 Hadoop中的數據壓縮類型2868.3.2 壓縮格式2898.4 序列化2908.5 數據攝取2908.5.1 批量攝取2918.5.2 宏批處理攝取2928.5.3 實時攝取2938.6 數據處理2948.6.1 批處理2948.6.2 微批處理2968.6.3 實時處理2978.7 常見的批處理模式2988.7.1 緩時變維度2988.7.2 重復記錄和小型文件3008.7.3 實時查找3018.8 針對編排的Airflow3028.9 數據治理3038.9.1 數據治理的主要內容3038.9.數據管理3048.9.3 數據生命周期管理3058.9.4 數據分類3068.10 本章小結307第9章 Hadoop中的實時流處理3099.1 技術需求3099.2 流式數據集3099.3 流數據攝取3109.3.1 Flume中基於事件的數據攝取3109.3.2 Kafka3119.4 常見的流數據處理模式3139.5 流式設計3149.5.1 延遲3159.5.2 數據可用性、一致性和安全性3159.5.3 無界數據源3169.5.4 數據查找3169.5.5 數據格式3179.5.6 序列化數據3179.5.7 並行處理機制3179.5.8 無序事件3189.5.9 消息傳遞語義3189.6 微批處理用例3199.7 實時處理案例3289.7.1 主代碼3339.7.2 執行代碼3449.8 本章小結345第10章 Hadoop中的機器學習34710.1 技術需求34710.2 機器學習步驟34710.3 常見的機器學習挑戰34810.4 Spark機器學習34910.4.1 轉換器函數35010.4.2 評估器35110.4.3 Spark ML管線35110.5 Hadoop和R35210.6 Mahout35310.7 Spark中的機器學習案例35410.8 本章小結358第11章 雲端中的Hadoop35911.1 技術需求35911.2 雲端Hadoop的邏輯視圖35911.3 網絡36111.3.1 區域和可用區36111.3.2 VPC和子網36211.3.3 安全組和防火牆規則36311.3.4 AWS操作示例36411.4 管理資源37011.5 數據管線37411.5.1 數據管線37511.5.2 Airflow37511.5.3 Airflow組件37611.5.4 數據管線的DAG示例37611.6 高可用性（HA）37911.6.1 服務器故障37911.6.2 雲存儲高可用性38111.7 本章小結382第12章 Hadoop集群分析38312.1 基準測試和分析簡介38312.2 HDFS38512.3 NameNode38612.3.1 NNBench38612.3.2 NNThroughputBenchmark38712.3.3 合成加載生成器38912.4 YARN39212.5 Hive39312.5.1 TPC-DS39312.5.2 TPC-H39412.6 混合工作負載39512.6.1 Rumen39512.6.2 Gridmix39612.7 本章小結397第4部分 Hadoop的安全機制第13章 Hadoop中的角色及其執行內容40113.1 Hadoop安全問題的各種因素40113.2 繫統安全40213.3 Kerberos驗證機制40313.3.1 Kerberos的優點40413.3.2 Kerberos驗證流40413.4 用戶權限40613.4.1 Ranger40713.4.2 Sentry40813.5 Hadoop 3.0中的安全特征列表40913.6 本章小結411第14章 網絡和數據安全41314.1 Hadoop網絡安全41314.1.1 隔離不同類型的網絡41314.1.2 網絡防火牆41514.1.3 Hadoop服務的網絡邊界安全工具41514.2 加密技術41714.2.1 傳輸數據加密41714.2.2 靜態數據加密41814.3 數據屏蔽機制41914.4 過濾機制42014.4.1 行級別過濾機制42014.4.2 列級別過濾機制42114.5 本章小結421第15章 監測Hadoop42315.1 通用監測機制42315.1.1 HDFS指標42315.1.2 YARN指標42515.1.3 ZooKeeper指標42615.1.4 Apache Ambari42615.2 安全監測機制42715.2.1 安全信息和事件管理42715.2.2 SIEM的工作方式42815.2.3 入侵檢測繫統42915.2.4 入侵預防繫統43015.3 本章小結430

《精通Hadoop3》詳細闡述了與Hadoop 3相關的基礎知識，主要包括Hadoop 3簡介、深入理解Hadoop分布式文件繫統、YARN資源管理器、MapReduce內部機制、Hadoop中的SQL、實時處理引擎、Hadoop生態圈組件、定義Hadoop中的應用程序、Hadoop中的實時流處理、Hadoop中的機器學習、雲端中的Hadoop、Hadoop集群分析、Hadoop中的角色及其執行內容、網絡和數據安全、監測Hadoop等內容。此外，本書還提供了相應的示例、代碼，以幫助讀者進一步理解相關方案的實現過程。本書適合作為高等院校計算機及相關專業的教材和教學參考書，也可作為相關開發人員的自學用書和參考手冊。