●第1章Hadoop大數據平臺概述
1.1Hadoop大數據平臺起源
1.1.1Hadoop發展歷程
1.1.2Hadoop核心組件
1.1.3Hadoop與雲計算的關繫
1.2Hadoop集群搭建和簡單應用
1.2.1集群服務器規劃
1.2.2Hadoop軟件安裝
1.2.3Hadoop命令行的基本使用
本章小結
第2章Hadoop分布式文件繫統
2.1HDFS概述
2.1.1HDFS的概念和特性
2.1.2HDFS的局限性
2.1.3HDFS保證可靠性的措施
2.1.4單點故障(單點失效)問題
2.2HDFSShell命令
2.2.1常見Shell命令
2.2.2其他HDFSShell命令
2.3對HDFS的深入理解
2.3.1HDFS的優點和缺點
2.3.2HDFS的輔助功能
2.4HDFS讀寫過程
2.4.1HDFS寫入數據過程
2.4.2HDFS讀取數據過程
2.5分布式集群中HDFS的各種角色
2.5.1NameNode的可靠性
2.5.2DataNode的可靠性
2.數據的CheckPoint
本章小結
第3章MapReduce並行計算框架
3.1MapReduce概述
3.1.1為什麼需要MapReduce
3.1.2MapReduce程序運行演示
3.1.3WordCount.java源碼分析
3.i.4編寫自己的WordCount程序
3.2MapReduce的核心運行機制
3.3MapReduce的多Job串聯和全局計數器
3.3.1MapReduce的多Job串聯
3.3.2全局計數器
3.3.3計數器該如何使用
3.3.4MapReduce框架Partitioner分區
3.3.5MapReduce框架Combiner分區
3.4YARN的資源調度
本章小結
第4章HBase分布式數據庫
4.1HBase數據庫概述
4.1.1HBase數據庫的使用場景
4.1.2HBase數據庫的安裝
4.2HBase數據庫物理架構
4.2.1HBase集群節點類型
4.2.2HBase數據存儲
4.3HBase數據庫操作
4.3.1HBase命令行的啟動
4.3.2HBase表的操作
4.3.3HBase表中數據的操作
4.4HBase數據庫的API操作
本章小結
第5章Hive數據倉庫
5.1Hive簡介
5.1.1什麼是Hire
5.1.2Hive的數據組織
5.1.3Hive的表類型
5.2Hive的安裝與使用
5.2.1Hive的安裝配置
5.2.2Hive的基本使用
5.2.3Hive的連接方式
5.3Hive數據結構
5.3.1Hive數據類型
5.3.2Hive數據存儲格式
5.3.3數據格式
5.4Hive數據操作
5.4.1管理庫
5.4.2表操作
5.5Hive應用案例
5.5.1統計單月訪問次數和總訪問次數
5.5.2學生課程成績統計
本章小結
第6章Kafka消息繫統
6.1Kafka消息繫統的功能
6.1.1Kafka概述
6.1.2Kafka組件架構
6.1.3Kafka軟件安裝
6.1.4Kafka服務的啟動
6.2Kafka組件術語
6.2.1主題與日志
6.2.2KafkaH志處理
6.2.3消息副本
6.2.4數據處理場景
6.2.5生產者
6.2.6消費者
本章小結
第7章Flume日志處理繫統
7.1F、lume的簡介
7.1.1Flume概述
7.1.2FlumeNG的介紹
7.1.3Flume的部署類型
7.2F、lume的安裝與配置
7.2.1Flume的下載與安裝
7.2.2FlumeSources描述
7.3Flume代理流配置
7.3.1單一代理流配置
7.3.2單代理多流配置
7.3.3配置多代理流程
7.3.4多路復用流
本章小結
第8章ZooKeeper分布式協調繫統
8.1分布式協調技術概述
8.2ZooKeeper概述
8.3ZooKeeper監聽機制
8.3.1Watch觸發器
8.3.2監聽原理
8.3.3ZooKeeper應用舉例
8.4ZooKeeper的安裝與集群配置
8.4.1ZooKeeper的安裝
8.4.2使用ZooKeeper命令的簡單操作步驟
本章小結
第9章Sqoop數據遷移工具
9.1Sq00p功能概述
9.1.1Sqoop軟件介紹
9.1.2Sqoop軟件安裝
9.2Sqoop命令操作
9.2.1Sqoop的基本命令
9.2.2Sqoop的數據導入
9.2.3將MysQL數據庫中的表數據導入Hive
9.2.4將MysQL數據庫中的表數據導入HBase
本章小結
參考文獻
大數據時代的到來,迫切需要高校及時建立大數據技術課程體繫,為社會培養和輸送一大批具備大數據專業素養的高級人纔,滿足社會對大數據人纔日益旺盛的需求。本書定位為大數據技術入門教材,旨在為讀者搭建起通向“大數據知識空間”的橋梁。本書將繫統地梳理總結ApacheHadoop大數據相關技術,介紹大數據存儲、並行計算、數據處理等內容,幫助讀者形成對大數據知識體繫及其應用領域的輪廓性認識,為讀者在大數據領域進行更深入的學習和研究奠定基礎、指明方向。在本書的基礎上,感興趣的讀者可以通過其他諸如《大數據技術原理及應用》《Hadoop權威指南》等工具書,深入學習和實踐大數據相關技術。本書可作為高等院校計算機、信息管理等相關專業的大數據課程教材,也可供相關技術人員參考、學習、培訓之用。