第1章緒論 3
1.1什麼是大數據 4
1.1.1大數據的來源 4
1.1.2大數據的表現形式 5
1.1.3大數據的特征 7
1.2什麼是商業智能 8
1.3大數據生命周期 9
1.4數據科學研究的主要問題 11
1.5數據科學的模型方法 14
1.5.1有監督學習 14
1.5.2無監督學習 15
1.5.3半監督學習 15
1.6大數據方向 16
1.6.1大數據架構方向 16
1.6.2大數據分析方向 16
1.6.3大數據開發方向 17
第2章數據預處理 19
2.1統計分析 20
2.1.1統計描述 21
2.1.2統計分析中的基本概念 25
2.1.3參數估計和假設檢驗 27
2.1.4區間估計和檢驗 28
2.1.5方差分析 31
2.2數據預處理 41
2.2.1數據清洗 42
2.2.2數據集成 45
2.2.3數據變換 46
2.2.4數據歸約 47
第3章大數據可視化 63
3.1數據可視化的發展歷程 64
3.1.1萌芽時期 66
3.1.2拉開帷幕 68
3.1.3初露鋒芒 69
3.1.4黃金時代 70
3.1.5穩步發展 72
3.1.6日新月異 73
3.2數據可視化的分類 74
3.2.1依據數據類型分類 74
3.2.2依據展示方式分類 77
3.2.3依據應用場景分類 77
3.3數據可視化設計的原則 78
3.3.1親密性(分組) 78
3.3.2對齊 78
3.3.3重復/統一 79
3.3.4對比/強調 79
3.3.5力求表達準確、到位、簡潔、易懂 80
3.4數據可視化的流程 80
3.4.1了解需求 80
3.4.2可視化設計 82
3.5應用實踐 82
3.5.1折線圖 83
3.5.2散點圖 84
3.5.3柱狀圖 85
3.5.4詞雲圖 86
3.5.5雷達圖 88
第4章大數據安全 91
4.1大數據安全概述 92
4.1.1保密性 92
4.1.2完整性 93
4.1.3可用性 93
4.2基本的密碼技術 93
4.2.1加密技術 93
4.2.2數字簽名技術 94
4.2.3Hash函數和MAC算法 95
4.3全同態加密技術 95
4.3.1基本定義 95
4.3.2全同態加密技術原理 96
4.3.3全同態加密技術的應用 98
4.4安全多方計算 100
4.4.1基本定義 100
4.4.2安全多方計算原理 100
4.4.3安全多方計算的應用 102
4.5差分隱私 103
4.5.1基本定義 104
4.5.2差分隱私原理 105
4.5.3差分隱私的應用 107
4.6區塊鏈 109
4.6.1基本定義 110
4.6.2區塊鏈技術原理 111
4.6.3區塊鏈技術的應用 112
第5章線性回歸分析 119
5.線性回歸 120
5.1.線性回歸概述 120
5.1.線性回歸的參數估計 123
5.1.線性回歸模型的檢驗 125
5.1.線性回歸的預測 127
5.線性回歸分析 128
5.2.線性回歸模型及假定 129
5.2.2參數估計 129
5.2.3模型檢驗 130
5.2.4預測 131
5.3應用實踐 133
5.3.1基於Lasso回歸的波士頓房價預測 133
5.3.2基於線性回歸的降雨量預測 136
第6章聚類分析 142
6.1聚類概述 143
6.2幾種常用的度量方法 143
6.2.1歐幾裡得距離(Euclidean distance) 144
6.2.2曼哈頓距離(Manhattan distance) 144
6.2.3切比雪夫距離(Chebyshev distance) 145
6.2.4冪距離(Power distance) 145
6.2.5馬氏距離(Mahalanobis distance) 146
6.2.6餘弦相似度(Cosine similarity) 148
6.2.7Pearson相關繫數(Pearson correlation coefficient) 148
6.2.8Jaccard相似繫數(Jaccard similarity coefficient) 148
6.3聚類的方法 150
6.3.1層次聚類 150
6.3.2密度聚類 151
6.3.3分割聚類 152
6.4應用實踐 154
6.4.1基於DBSCAN密度聚類的鳶尾花品種分類 154
6.4.2基於聚類和可視化的世界國家幸福指數分析 157
第7章關聯規則分析 164
7.1關聯規則分析概述 165
7.2關聯規則分析常用的基本概念 166
7.3基於Apriori算法的關聯規則分析 168
7.3.1連接(linking)步驟 168
7.3.2剪枝(pruning)步驟 169
7.3.3Apriori算法處理流程 169
7.3.4Apriori算法實例 170
7.3.5由頻繁項集生成關聯規則 172
7.4改進的Apriori算法 172
7.4.1基於劃分的方法 172
7.4.2基於抽樣的方法 173
7.4.3增量更新的方法 173
7.4.4概念層次的方法 174
7.4.5基於散列和壓縮技術的方法 174
7.5基於FP-Growth算法的關聯規則分析 175
7.6多維和多層關聯規則 177
7.6.1多維關聯規則挖掘 177
7.6.2多層關聯規則挖掘 178
7.7應用實踐 179
7.7.1基於Apriori算法的用戶購物關聯度分析 179
7.7.2基於FP-Growth算法的用戶購物關聯度分析 183
第8章分類與預測 195
8.1分類問題評價準則 196
8.2線性分類 198
8.2.1Logistic模型 199
8.2.2判別分析 202
8.3決策樹 206
8.3.1決策樹的概念及基本算法 206
8.3.2基於信息熵的決策樹歸納算法 208
8.3.3決策樹修剪 212
8.3.4提取決策規則 212
8.3.5決策樹的改進 213
8.4AdaBoost算法 215
8.5隨機森林算法 217
8.5.1設計隨機森林分類器 217
8.5.2構建隨機森林 218
8.6應用實踐 223
8.6.1基於隨機森林算法預測是否被錄取 223
8.6.2基於決策樹算法預測是否被錄取 227
第9章時間序列分析 231
9.1時間序列分析概述 232
9.2ARIMA模型 233
9.2.1ARIMA模型的基本概念 233
9.2.2ARIMA模型預測步驟 234
9.2.3預測實例 234
9.3HMM 241
9.3.1HMM的基本概念 241
9.3.2HMM的基本問題 243
9.3.3HMM基本問題的解法 244
9.4動態貝葉斯網絡 248
9.4.1動態貝葉斯網絡的基本概念 248
9.4.2動態貝葉斯網絡的學習 250
9.4.3動態貝葉斯網絡的推理 252
9.5應用實踐 252
9.5.1基於ARIMA模型的二氧化碳濃度預測 252
9.5.2基於HMM的比特幣投資預測 258
第10章大數據工具 271
10.1分布式繫統概述 272
10.2Hadoop概述 273
10.3Hadoop偽分布式的安裝和配置 273
10.3.1安裝前準備 273
10.3.2安裝Hadoop 275
10.3.3偽分布式配置 275
10.4MapReduce 277
10.4.1MapReduce任務的工作流程 278
10.4.2MapReduce編程 280
10.5利用MapReduce中的矩陣相乘 281
10.5.1數據準備 281
10.5.2矩陣的存儲方式 282
10.6Hive 286
10.6.1Hive簡介 286
10.6.2數據存儲 287
10.6.3用Python執行HQL命令 288
10.6.4必知的HQL知識 289
10.6.5HQL實例 294
10.7HBase 295
10.7.1數據模型 296
10.7.2HBase的特點 297
10.7.3獲取數據 297
10.7.4存儲數據 298
第11章基於卷積神經網絡和深度
哈希編碼的圖像檢索方法 301
11.1圖像檢索方法的發展歷程 302
11.2卷積深度哈希網絡的基本框架 303
11.2.1卷積子網絡 303
11.2.2損失函數 304
11.2.3哈希層 304
11.3實驗結果與性能分析 305
11.3.1神經網絡參數 305
11.3.2數據庫和評價指標 305
11.3.3實驗結果分析 306
第12章蛋白質作用網絡模型 310
第13章基於改進的長短期記憶網絡的道路交通事故預測模型 322
第14章大數據工作流的性能建模和預測 364
附錄數學基礎知識 379
參考文獻 386