基本信息

• 商品名稱：Hadoop大數據處理技術基礎與實踐(21世紀高等院校雲計算和大數據人纔培養規劃教材)
• 作者：編者:安俊秀//王鵬//靳宇倡
• 代碼：45
• 出版社：人民郵電
• ISBN號：9787115400741

其他參考信息

• 出版時間：2015-12-01
• 印刷時間：2015-12-01
• 版次：1
• 印次：1
• 開本：16開
• 包裝：平裝
• 頁數：291
• 字數：494千字

內容提要

安俊秀、王鵬、靳宇倡編著的《Hadoop大數據處 理技術基礎與實踐(21世紀高等院校雲計算和大數據人 纔培養規劃教材)》共12章，從Hadoop起源開始講述 ，介紹了Hadoop的安裝和配置，並對Had00p的組件分 別進行了介紹，包括HDFs分布式存儲繫統， MapReduce計算框架，海量數據庫HBase，Hive數據倉 庫，Pig、ZooKeeper管理繫統等知識，*後對Hadoop 實時數據處理技術做了簡單介紹，旨在讓讀者了解當 前其他的大數據處理技術。本書除了對Hadoop的理論 進行說明之外，還對如何使用各組件進行了介紹，但 介紹的隻是基礎知識的使用，並未涉及底層部分的高 級內容，所以本書隻是起一個引導作用，旨在讓讀者 了解Hadoop且能夠使用Hadoop的基本功能，並不是學 習Hadoop的完全手冊，如果希望進一步了解，還需要 學習進階課程。
     本書可作為普通高等院校的雲計算專業、物聯網 專業及雲計算與大數據專業的核心基礎課程的教材， 也可作為雲計算與大數據技術相關培訓班等的教材或 自學參考用書。
    

目錄

**章 Hadoop概述
1.1 Hadoop來源和動機
1.2 Hadoop體繫架構
1.3 Hadoop與分布式開發
1.4 Hadoop行業應用案例分析
1.4.1 Hadoop在門戶網站的應用
1.4.2 Hadoop在搜索引擎中的應用
1.4.3 Hadoop在電商平臺中的應用
1.5 小結
習題
第2章 Hadoop安裝與配置管理
2.1 實驗準備
2.2 配置一個單節點環境
2.2.1 運行一個虛擬繫統CentOS
2.2.2 配置網絡
2.2.3 創建新的用戶組和用戶
2.2.4 上傳文件到CentOS並配置Java、Hadoop環境
2.2.5 修改Hadoop2.2配置文件
2.2.6 修改CentOS主機名
2.2.7 綁定hostname與IP
2.2.8 關閉防火牆
2.3 節 點之間的免密碼通信
2.3.1 什麼是SSH
2.3.2 拷貝虛擬機節點
2.3.3 配置SSH免密碼登錄
2.4 Hadoop的啟動和測試
2.4.1 格式化文件繫統
2.4.2 啟動HDFS
2.4.3 啟動Yarn
2.4.4 管理JobHistoryServer
2.4.5 集群驗證
2.4.6 需要了解的默認配置
2.5 動態管理節點
2.5.1 動態增加和刪除datanode
2.5.2 動態修改TaskTracker
2.6 小結
習題
第3章 HDFS技術
3.1 HDFS的特點
3.2 HDFS架構
3.2.1 數據塊
3.2數據節點與數據節點
3.2.3數據節點
3.2.4 安全模式
3.2.5 負載均衡
3.2.6 垃圾回收
3.3 HDFSShell命令
3.3.1 文件處理命令
3.3.2 dfsadmin命令
3.3.3 namenode命令
3.3.4 fsck命令
3.3.5 pipes命令
3.3.6 job命令
3.4 HDFS中JavaAPI的使用
3.4.1 上傳文件
3.4.2 新建文件
3.4.3 查看文件詳細信息
3.4.4 下載文件
3.5 RPC通信
3.5.1 反射機制
3.5.2 代理模式與動態代理
3.5.3 HadoopRPC機制與源碼分析
3.6 小結
習題
第4章 Map/Reduce技術
4.1 什麼是Map/Reduce
4.2 Map/Reduce編程模型
4.2.1 MapReduce編程模型簡介
4.2.2 Map/Reduce簡單模型
4.2.3 Map/Reduce復雜模型
4.2.4 Map/Reduce編程實例–WordCount
4.3 Map/Reduce數據流
4.3.1 分片、格式化數據源（InputFormat）
4.3.2 Map過程
4.3.3 Shuffle過程
4.3.4 Reduce過程
4.3.5 文件寫入（OutputFormat）
4.4 Map/Reduce任務流程
4.4.1 MRv2基本組成
4.4.2 Yarn基本組成
4.4.3 任務流程
4.5 Map/Reduce的Streaming和Pipe
4.5.1 HadoopStreaming
4.5.2 HadoopPipe
4.6 Map/Reduce性能調優
4.7 Map/Reduce實戰
4.7.1 快速入門
4.7.2 簡單使用Eclipse插件
4.8 小結
習題
第5章 HadoopI/O操作
5.1 HDFS數據完整性
5.1.1 校驗和
5.1.2 DataBlockScanner
5.2 基於文件的數據結構
5.2.1 SequenceFile存儲
5.2.2 MapFile
5.2.3 SequenceFile轉換為MapFile
5.3 壓縮
5.3.1 Codec
5.3.2 本地庫
5.3.3 如何選擇壓縮格式
5.4 序列化
5.4.1 Writable接口
5.4.2 WritableComparable
5.4.3 Hadoopwritable基本類型
5.4.4 自定義writable類型
5.5 小結
習題
第6章 海量數據庫HBase技術
6.1 初識HBase
6.2 HBase表視圖
6.2.1 概念視圖
6.2.2 物理視圖
6.3 HBase物理存儲模型
6.4 安裝HBase
6.4.1 HBase單節點安裝
6.4.2 HBase偽分布式安裝
6.4.3 HBase完全分布式安裝
6.5 HBase Shell
6.5.1 general一般操作
6.5.2 ddl操作
6.5.3 dml操作
6.5.4 小結
6.6 小結
習題
第7章 ZooKeeper技術
7.1 分布式協調技術
7.2 實現者
7.3 角色
7.4 ZooKeeper數據模型
7.4.1 Znode
7.4.2 ZooKeeper中的時間
7.4.3 ZooKeeper節點屬性
7.4.4 watch觸發器
7.5 ZooKeeper集群安裝
7.6 ZooKeeper主要Shell操作
7.7 典型運用場景
7.7.1 數據發布與訂閱
7.7.2 統一命名服務
7.7.3 分布通知/協調
7.8 小結
習題
第8章 分布式數據倉庫技術Hive
8.1 Hive出現原因
8.2 Hive服務組成
8.3 Hive安裝
8.3.1 Hive基本安裝
8.3.2 MySQL安裝
8.3.3 Hive配置
8.4 HiveShell介紹
8.5 HiveQL詳解
8.5.1 Hive管理數據方式
8.5.2 Hive表DDL操作
8.5.3 Hive表DML操作
8.6 小結
習題
第9章 分布式數據分析工具Pig
9.1 Pig的安裝和配置
9.2 Pig基本概念
9.3 Pig保留關鍵字
9.4 使用Pig
9.4.1 Pig命令行選項
9.4.2 Pig的兩種運行模式
9.4.3 Pig相關Shell命令詳解
9.4.4 Pig程序運行方式
9.4.5 Pig輸入與輸出
9.5 模式（Schemas）
9.6 Pig相關函數詳解
9.7 小結
習題
**0章 Hadoop與RDBMS數據遷移工具Sqoop
10.1 Sqoop基本安裝
10.2 Sqoop配置
10.3 Sqoop相關功能
10.4 Hive、Pig和Sqoop三者之間的關繫
10.5 小結
習題
**1章 Hadoop 1.x與Hadoop 2.x的比較
11.1 Hadoop發展歷程
11.2 Hadoop 1.x與Hadoop 2.x之間的差異
11.2.1 Hadoop 1與Hadoop 2體繫結構對比
11.2.2 Hadoop 1與Hadoop 2之間配置差異
11.2.3 Hadoop 2的Yarn框架
11.2.4 HDFS聯邦機制（Federation）
11.3 小結
習題
**2章 Hadoop實時數據處理技術
12.1 Storm-Yarn
12.1.1 ApacheStorm組成結構
12.1.2 Storm數據流
12.1.3 Storm-Yarn產生背景
12.1.4 Storm-Yarn功能介紹
12.2 ApacheSpark
12.2.1 ApacheSpark組成結構
12.2.2 ApacheSpark擴展功能
12.3 Storm與Spark的比較
12.4 小結
習題
附錄一：使用Eclipse提交Hadoop任務相關錯誤解決
附錄二：常用Pig內置函數簡介