目錄
第1章 緒論 1
1.1 什麼是大數據 1
1.1.1 大數據概念的起源 2
1.1.2 大數據的4V特性 3
1.1.3 大數據與雲計算 3
1.1.4 大數據與人工智能 4
1.1.5 大數據的典型應用場景 5
1.2 大數據處理技術體繫 6
1.2.1 大數據處理基礎框架 6
1.2.2 大數據處理過程概述 8
1.3 大數據處理技術學習路線 22
本章小結 24
思考題 24
參考文獻 25
第2章 主流大數據處理框架 26
2.1 Hadoop 27
2.1.1 Hadoop起源和特點 27
2.1.2 Hadoop架構與核心部件 28
2.1.3 Hadoop的版本選擇 29
2.2 Spark 30
2.2.1 Spark的起源和特點 30
2.2.2 Spark的核心概念——RDD 31
2.2.3 Spark的生態圈 33
2.3 Apache Storm 35
2.3.1 Storm的起源和應用場景 36
2.3.2 Storm的架構和原理 36
2.3.3 Storm的特性 38
2.3.4 Hadoop、Spark和Storm的性能對比 38
2.4 Oracle大數據處理框架 39
2.5 IBM大數據處理框架 41
2.6 SAP HANA大數據處理框架 42
2.7 Teradata大數據處理框架 43
2.8 主流廠商大數據處理框架對比 45
本章小結 45
思考題 45
參考文獻 46
第3章 Hadoop大數據處理平臺 47
3.1 Hadoop發展簡史 47
3.1.1 發展簡史 47
3.1.2 Hadoop*新架構 48
3.2 Hadoop核心技術 51
3.2.1 HDFS 51
3.2.2 MapReduce 57
3.3 Hadoop生態圈 59
3.3.1 HBase 59
3.3.2 Hive 70
3.3.3 Pig 73
3.3.4 Sqoop 75
3.3.5 ZooKeeper 81
3.3.6 Avro 82
3.4 Hadoop版本介紹 83
3.4.1 Cloudera CDH 83
3.4.2 Hortonworks HDP 87
3.5 Hadoop安裝 87
3.5.1 Hadoop安裝前期準備 87
3.5.2 安裝經驗彙總 88
本章小結 88
思考題 89
參考文獻 89
第4章 Spark大數據處理平臺 90
4.1 Spark概述 90
4.1.1 Spark發展簡史 90
4.1.2 Spark的優點 90
4.2 Spark總體架構 91
4.2.1 Spark技術架構 91
4.2.2 Spark總體流程 93
4.3 Spark核心模塊 98
4.3.1 RDD 98
4.3.2 Scheduler 101
4.3.3 Storage 105
4.3.4 Shuffle 107
4.4 Spark應用庫 108
4.4.1 GraphX 108
4.4.2 Spark Streaming 112
4.4.3 Spark SQL 116
4.4.4 MLLib 120
4.5 Spark與Hadoop的區別 121
4.6 Spark與Hadoop的集成 122
4.7 Spark典型應用 123
4.7.1 Spark的適用場景 123
4.7.2 Spark在百度 124
4.7.3 Spark在阿裡 124
4.7.4 Spark在騰訊 124
4.8 Spark安裝使用 125
4.8.1 Scala安裝 125
4.8.2 Spark安裝 125
本章小結 128
思考題 129
參考文獻 129
第5章 大數據獲取技術 130
5.1 大數據采集 130
5.2 日志采集 131
5.2.1 Flume 131
5.2.2 Chukwa 136
5.2.3 Kafka 144
5.2.4 Flume、Chukwa和Kafka的比較 149
5.3 網絡數據采集 150
5.3.1 網絡爬蟲技術概述 150
5.3.2 網絡爬蟲原理 150
5.3.3 網絡爬蟲體繫結構 152
5.3.4 網絡爬蟲分類 153
5.4 數據庫采集 156
5.4.1 ETL 156
5.4.2 大數據平臺和現有數據倉庫的有效整合 160
本章小結 161
思考題 161
參考文獻 161
第6章 大數據存儲 163
6.1 傳統數據中心存儲 163
6.1.1 DAS 163
6.1.2 NAS 165
6.1.3 SAN 167
6.1.4 對像存儲技術 168
6.2 大數據存儲技術 169
6.2.1 大數據存儲與傳統存儲的不同 169
6.2.2 分布式文件繫統 169
6.2.3 分布式數據庫 175
6.3 NoSQL 179
6.3.1 BigTable 180
6.3.2 Dynamo 186
6.4 NewSQL 190
6.5 雲數據庫 193
6.6 各類存儲方式對比 193
本章小結 194
思考題 194
參考文獻 195
第7章 常用大數據分析算法 197
7.1 數據挖掘與機器學習 197
7.1.1 數據挖掘 197
7.1.2 機器學習 198
7.2 回歸分析 199
7.2.1 線性回歸(linear regression) 199
7.2.2 邏輯回歸(logistic regression) 200
7.3 分類算法 201
7.3.1 決策樹 201
7.3.2 支持向量機 204
7.3.3 樸素貝葉斯分類器 207
7.4 聚類算法 209
7.4.1 數據劃分 210
7.4.2 類別的定義 211
7.4.3 K-Means算法 211
7.4.4 K-Means算法遇到的問題 212
7.5 集成學習 213
7.5.1 集成學習的簡述 213
7.5.2 弱學習器(weak learner) 213
7.5.3 Boosting 214
7.5.4 Bagging 215
7.5.5 隨機森林 216
7.5.6 結合策略 217
7.6 深度學習基礎 218
7.6.1 人工神經網絡 218
7.6.2 BP神經網絡 219
7.6.3 激活函數 221
7.7 卷積神經網絡 225
7.7.1 從神經網絡到卷積神經網絡 225
7.7.2 卷積神經網絡的層級結構 226
7.7.3 CNN小結 231
7.8 循環神經網絡 231
7.8.1 循環神經網絡簡介 231
7.8.2 RNN的基本結構 232
7.8.3 RNN的高級形式 233
7.9 對抗學習 235
7.9.1 對抗網絡簡介 235
7.9.2 GAN的目的與設計思路 236
7.9.3 對抗網絡模型 237
7.9.4 GAN優化問題 239
7.10 常用數據分析工具簡介 240
7.10.1 Mahout 240
7.10.2 Hive 241
7.10.3 TensorFlow深度學習框架 242
7.10.4 其他深度學習框架 243
本章小結 244
思考題 245
參考文獻 245
第8章 文本大數據分析 247
8.1 文本大數據處理 247
8.1.1 文本大數據的特點 247
8.1.2 文本分析簡介 248
8.1.3 文本大數據分析的主要應用場景 249
8.1.4 文本大數據分析的技術難點 251
8.2 文本大數據分析主要流程 252
8.2.1 獲取語料 252
8.2.2 文本預處理 254
8.2.3 構造文本特征 255
8.2.4 特征選擇處理 257
8.2.5 學習模型訓練 258
8.3 深度學習文本分類模型 258
8.3.1 fastText 259
8.3.2 TextCNN 259
8.3.3 TextRNN 261
8.3.4 TextRNN Attention 262
8.3.5 TextRCNN(TextRNN CNN) 264
8.3.6 HAN 264
8.3.7 深度學習文本分類小結 265
8.4 文本大數據分析實例——文本分類 266
8.4.1 業務問題描述 266
8.4.2 傳統文本分類方法 267
8.4.3 深度學習文本分類方法 268
本章小結 271
思考題 271
參考文獻 271
第9章 圖像大數據分析技術 273
9.1 圖像分析技術簡介 273
9.1.1 圖像分析技術簡介 273
9.1.2 圖像分析的四個基本過程 274
9.2 邊緣檢測 274
9.2.1 邊緣檢測的簡述 274
9.2.2 邊緣檢測算子 275
9.3 圖像分割 277
9.3.1 灰度閾值分割 277
9.3.2 區域分割 278
9.4 目標檢測與識別 280
9.4.1 基於區域提名的目標檢測與識別算法 280
9.4.2 端到端的的目標檢測與識別算法 285
9.5 圖像大數據分析典型應用——人臉識別 287
9.5.1 人臉識別技術流程 287
9.5.2 識別算法 288
9.5.3 人臉識別技術的優勢和困難 290
9.6 圖像大數據分析其他應用 291
9.6.1 “看圖說話” 291
9.6.2 視覺問答 292
9.6.3 網絡可視化和網絡理解 294
9.6.4 特征逆向工程 297
9.6.5 圖像檢索 299
本章小結 300
思考題 300
參考文獻 301
第10章 視頻大數據分析技術 302
10.1 視頻大數據應用的主要驅動 302
10.1.1 累積的視頻數據價值量巨大 302
10.1.2 技術的成熟 303
10.1.3 政策的推動 304
10.2 視頻大數據分析基礎 304
10.2.1 視頻數據采集 305
10.2.2 視頻數據壓縮 305
10.2.3 視頻數據存儲 305
10.2.4 視頻大數據分析的關鍵技術 306
10.3 目標檢測 306
10.3.1 背景差分法 308
10.3.2 幀間差分法 312
10.3.3 光流法 315
10.4 目標識別 318
10.4.1 單幀圖像目標識別 319
10.4.2 改進分類損失 319
10.4.3 利用跟蹤信息修正 320
10.4.4 網絡選擇與訓練技巧 320