1.內容豐富多樣，對比學習
考慮當前大數據發展處於起步並逐步趕超先進，其應用領域豐富廣泛，本書除了介紹典型開源大數據處理框架Apache Hadoop框架之外，還介紹了批處理計算Spark、流式計算及典型工具（Storm、Apex、Flink）和事件流及典型工具（Druid）等，讓讀者了解不同類型工具繫統的特點，並配以豐富簡單易上手的實例，讓讀者能夠切實體會和掌握各種類型工具的特點和應用。
2.輕量級理論，重在培養動手實踐能力
為了讓讀者能夠快速掌握技能並保證理論能夠適應實踐要求，本書本著輕量級理論原則，給出豐富的實例、詳實的實驗操作步驟和使用普通讀者也易於配置的實驗環境，讓讀者能夠快速上手，在做中學。
3.有效結合實際應用
除了各章節給出的配套實例外，本書在最後還給出電商領域的大數據分析綜合實例，以實際行業應用案例說明大數據處理和計算工具的使用以及進一步闡述大數據行業應用的重大意義。

本書在介紹大數據發展背景、特點及主要技術層面的基礎上，對大數據的數據采集、數據存儲、常見計算模式和典型繫統工具進行了分析介紹。本書同時對各種典型繫統工具進行了講解，包括大數據查詢分析計算及典型工具（HBase、Hive）、批處理計算及典型工具（MapReduce、Spark）、流式計算及典型工具（Storm、Apex、Flink）、事件流及典型工具（Druid）等。
本書提供了大量的實例和源代碼供讀者參考，指導讀者快速、無障礙地了解和掌握常見大數據分析工具的使用。本書適合作為計算機及相關專業的教學用書，也可以作為大數據初學者的自學教材和參考手冊。

陳志德，2005年至今在福建師範大學數學與計算機科學學院工作，任計算機繫副主任。主要研究方向包括網絡與信息安全、物聯網與移動計算等，指導碩士研究生20多人，指導研究生的學位論文曾獲校優秀碩士論文一等獎。近年來主持福建省自然科學基金、福建省科技廳K類基金等項目10項，參與國家自然科學基金和省科技廳高校產學合作科技重大項目課題各1項。出版學術專著2本，教材1本。在Journal of Computer and System Sciences、Concurrency and Computation: Practice and Experience等期刊發表學術論文40多篇，申請專利10多項，軟件著作權10多項。擔任CTCIS和NSS等國內和國際學術會議的程序委員會委員。

第1章大數據概述1
1．1大數據的發展1
1．2大數據的概念及特征2
1．2．1大數據的概念2
1．2．2大數據的特征2
1．3大數據的產生及數據類型3
1．3．1大數據的產生3
1．3．2數據類型3
1．4大數據計算模式和繫統4
1．5大數據的主要技術層面和技術內容4
1．6大數據的典型應用6
1．7本章小結7
第2章數據獲取8
2．1Scrapy環境搭建8
2．2爬蟲項目創建8
2．3采集目標數據項定義10
2．4爬蟲核心實現11
2．5數據存儲15
2．6爬蟲運行17
2．7本章小結18
第3章Hadoop基礎19
3．1Hadoop概述19
3．2Hadoop原理20
3．2．1Hadoop HDFS原理20
3．2．2Hadoop MapReduce原理21
3．2．3Hadoop YARN原理22
3．3Hadoop的安裝與配置24
3．4Hadoop生態繫統簡介46
3．5本章小結47
第4章HDFS基本應用48
4．1實戰命令行接口48
4．2實戰Java接口52
4．3數據流60
4．3．1數據流簡介60
4．3．2數據流讀取61
4．3．3數據流寫入62
4．4本章小結64
第5章MapReduce應用開發65
5．1配置Hadoop MapReduce開發環境65
5．1．1繫統環境及所需文件65
5．1．2安裝Eclipse65
5．1．3向Eclipse中添加插件66
5．2編寫和運行第一個MapReduce程序前的準備69
5．2．1繫統環境及所需要的文件69
5．2．2建立運行MapReduce程序的依賴環境69
5．2．3建立編寫MapReduce程序的依賴包70
5．3MapReduce應用案例78
5．3．1單詞計數78
5．3．2數據去重82
5．3．3排序85
5．3．4單表關聯89
5．3．5多表關聯95
5．4本章小結102
第6章分布式數據庫HBase103
6．1HBase簡介103
6．2HBase接口103
6．3安裝HBase集群104
6．3．1繫統環境104
6．3．2安裝ZooKeeper104
6．3．3安裝HBase106
6．4HBase Shell108
6．5HBase API110
6．6HBase綜合實例113
6．7本章小結118
第7章數據倉庫工具Hive119
7．1Hive簡介119
7．2Hive接口實戰119
7．3Hive復雜語句實戰124
7．4Hive綜合實例127
7．4．1準備數據127
7．4．2在Hive上創建數據庫和表128
7．4．3導入數據129
7．4．4算法分析與執行HQL語句130
7．4．5運行結果分析131
7．5本章小結132
第8章開源集群計算環境Spark133
8．1Spark簡介133
8．2Spark接口實戰133
8．2．1環境要求133
8．2．2IDEA使用和打包134
8．3Spark編程的RDD137
8．3．1RDD137
8．3．2創建RDD138
8．3．3RDD中與Map和Reduce相關的API138
8．4Spark實戰案例——統計1000萬人口的平均年齡141
8．4．1案例描述141
8．4．2案例分析143
8．4．3編程實現143
8．4．4提交到集群運行144
8．4．5監控執行狀態144
8．5Spark MLlib實戰——聚類實戰145
8．5．1算法說明145
8．5．2實例介紹145
8．5．3測試數據說明146
8．5．4程序源碼146
8．5．5運行腳本148
8．6本章小結150
第9章流實時處理繫統Storm152
9．1Storm概述152
9．1．1Storm簡介152
9．1．2Storm主要特點152
9．2Storm安裝與配置153
9．3本章小結160
第10章企業級、大數據流處理 Apex161
10．1Apache Apex簡介161
10．2Apache Apex開發環境配置161
10．2．1部署開發工具161
10．2．2安裝Apex組件162
10．2．3創建Top N Words應用164
10．3運行TopN Words應用166
10．3．1開啟Apex客戶端166
10．3．2執行166
10．4本章小結167
第11章事件流OLAP之Druid168
11．1Druid簡介168
11．2Druid應用場所168
11．3Druid集群169
11．4Druid單機環境170
11．4．1安裝Druid170
11．4．2安裝ZooKeeper170
11．4．3啟動Druid服務171
11．4．4批量加載數據172
11．4．5加載流數據175
11．4．6數據查詢177
11．5本章小結180
第12章事件數據流引擎Flink181
12．1Flink概述181
12．2Flink基本架構181
12．3單機安裝Flink182
12．4Flink運行第一個例子184
12．5Flink集群部署187
12．5．1環境準備187
12．5．2安裝和配置187
12．5．3啟動Flink集群188
12．5．4集群中添加JobManager/TaskManager189
12．6本章小結189
第13章分布式文件搜索 Elasticsearch190
13．1Elasticsearch簡介190
13．2Elasticsearch單節點安裝192
13．3插件Elasticsearch-head安裝193
13．4Elasticsearch的基本操作195
13．5綜合實戰199
13．6本章小結202
第14章實例電商數據分析203
14．1背景與挖掘目標203
14．2分析方法與過程203
14．2．1數據收集203
14．2．2數據預處理206
14．2．3導入數據到Hadoop206
14．2．4數據取樣分析209
14．3本章小結211
參考文獻212