●第1章 數據分析與數據挖掘基礎 1
1.1 數據分析與數據挖掘需求 1
1.1.1 數據分析與數據挖掘 1
1.1.2 大數據處理需求 2
1.1.3 數據分析誤區與隱私問題 3
1.2 數據分析與數據挖掘的工作過程 3
1.2.1 數據分析的主要工作過程 3
1.2.2 數據收集 5
1.2.3 數據展示 6
1.3 數據的組織和數據的類型 7
1.3.1 數據的一般組織形式 7
1.3.2 數據類型 8
1.3.3 分類數據的編碼 9
1.4 數據的常用描述性統計量 11
1.4.1 數據的中心趨勢 11
1.4.2 數據的離散程度 12
1.4.3 數據的形態統計量 15
1.5 數據的基本描述性統計分析 18
1.5.1 數據的描述性統計 18
1.5.2 五數概括與盒圖 19
1.5.3 數據的描述性統計圖 20
1.6 本章小結 22
本章概念與關鍵詞 22
練習與思考 23
第2章 數據抽樣與推斷檢驗 24
2.1 隨機變量概率分布 24
2.1.1 概率分布 24
2.1.2 正態分布 26
2.1.3 二項分布與泊松分布 28
2.1.4 幾何分布與超幾何分布 29
2.2 抽樣統計分析 31
2.2.1 抽樣的相關概念 31
2.2.2 概率抽樣的典型方法 33
2.2.3 非隨機抽樣的典型方法 34
2.3 基本抽樣分布 34
2.3.1 經驗分布、理論分布與抽樣分布 34
2.3.2 三大抽樣分布 36
2.3.3 小概率事件 38
2.4 常用的抽樣分布與區間估計 40
2.4.1 常用的統計量抽樣分布 40
2.4.2 置信區間與區間估計 42
2.5 常用的參數檢驗 45
2.5.1 假設檢驗一般過程 45
2.5.2 常用的參數檢驗統計量 47
2.6 常用的單樣本非參數檢驗 48
2.6.1 卡方檢驗 48
2.6.2 二項分布檢驗 49
2.6.3 固定參數的超幾何分布檢驗 49
2.6.4 遊程檢驗 50
2.6.5 單樣本K-S檢驗 54
2.7 本章小結 56
本章概念與關鍵詞 57
練習與思考 57
第3章 可視化圖與分組檢驗 59
3.1 數據的常用可視化圖分析 59
3.1.1 數據的常用可視化圖 59
3.1.2 基於圖的可視化觀測一般過程 62
3.2 均值比較和t檢驗 62
3.2.1 分組統計 62
3.2.2 數據標準化與Z-Score 63
3.2.3 單樣本t檢驗 64
3.2.4 兩獨立樣本t檢驗 65
3.2.5 兩配對樣本t檢驗 67
3.3 方差齊性檢驗 68
3.3.1 Levene方差齊性檢驗 68
3.3.2 基於F檢驗的方差齊性檢驗 69
3.3.3 Brown-Forsythe方差齊性檢驗 70
3.3.4 Bartlett’s方差齊性檢驗 70
3.4 兩獨立樣本的非參數檢驗 71
3.4.1 Mann-Whitney U檢驗 71
3.4.2 兩獨立樣本K-S檢驗 74
3.4.3 兩獨立樣本遊程檢驗 76
3.4.4 兩獨立樣本Moses特別反應檢驗 77
3.4.5 兩獨立樣本Brown-Mood中位數檢驗 78
3.5 兩配對樣本的非參數檢驗 81
3.5.1 兩配對樣本符號檢驗 81
3.5.2 中位數、分位數及比例的符號檢驗 82
3.5.3 兩配對樣本Wilcoxon符號秩檢驗 83
3.5.4 Wilcoxon符號秩單樣本檢驗 85
3.5.5 兩配對樣本McNemar檢驗 86
3.5.6 邊緣齊性檢驗 88
3.6 多樣本的非參數檢驗 88
3.6.1 多獨立樣本中位數檢驗 88
3.6.2 多獨立樣本Kruskal-Wallis檢驗 90
3.6.3 多獨立樣本Jonckheere-Terpstra檢驗 91
3.6.4 多配對樣本Friedman檢驗 94
3.6.5 多配對樣本Kendall協同繫數檢驗 96
3.6.6 多配對樣本Cochran’s Q檢驗 97
3.7 本章小結 98
本章概念與關鍵詞 99
練習與思考 99
第4章 方差分析與相關性分析 102
4.1 方差分析 102
4.1.1 方差分析中的變量 102
4.1.2 單因素方差分析 103
4.1.3 單因素方差Brown-Forsythe檢驗 105
4.1.4 單因素方差Welch’s t檢驗 106
4.1.5 無交互作用的雙因素方差分析 107
4.1.6 有交互作用的雙因素方差分析 109
4.2 t Hoc檢驗 111
4.2.1 LSD檢驗 111
4.2.2 Studentized極差分布 112
4.2.3 Tukey’s Range檢驗 113
4.2.4 Tukey-Kramer檢驗 115
4.2.5 SNK檢驗 117
4.2.6 其他幾種常用檢驗方法 118
4.3 連續屬性數據的相關性分析 119
4.3.1 協方差的線性相關性度量 119
4.3.2 相關繫數的線性相關性度量 122
4.3.3 Spearman秩相關繫數 124
4.4 離散屬性相關性分析 126
4.4.1 交叉列聯表分析 126
4.4.2 用卡方檢驗進行離散相關性分析 127
4.4.3 列聯表上常用的指標 128
4.4.4 Fisher’s exact檢驗 129
4.5 本章小結 131
本章概念與關鍵詞 132
練習與思考 132
第5章 數據的預處理與距離分析 134
5.1 數據的預處理 134
5.1.1 數據清理 134
5.1.2 數據集成 136
5.1.3 數據變換 137
5.1.4 數據歸約 137
5.2 數據的常用組織方式 138
5.2.1 數據的常用邏輯組織 138
5.2.2 數據的常用物理組織 139
5.2.3 高精度計算與矩陣計算 139
5.2.4 編程語言、軟件工具 140
5.3 相似度計算與距離分析 140
5.3.1 相似度與距離的轉換 140
5.3.2 閔可夫斯基距離 143
5.3.3 馬氏距離 145
5.3.4 混合屬性的相似度與距離 147
5.4 kNN分類模型 148
5.4.1 kNN分類模型概述 148
5.4.2 距離加權kNN分類模型 150
5.5 參數的點估計 151
5.5.1 原點矩與中心矩 151
5.5.2 矩估計法 152
5.5.3 極大似然估計法 153
5.6 本章小結 156
本章概念與關鍵詞 156
練習與思考 156
第6章 回歸分析 158
6.線性回歸 158
6.1.線性回歸問題描述 158
6.1.線性回歸模型與求解 159
6.1.3 確認回歸方程的精度 161
6.1.4 總體回歸的方差分析 162
6.1.5 殘差分析 164
6.1.6 回歸方程參數檢驗 167
6.1.7 回歸方程預測與控制 168
6.線性回歸 170
6.2.線性回歸問題描述 170
6.2.線性回歸模型與求解 172
6.2.3 確認回歸方程的精度 173
6.2.4 殘差分析 174
6.2.5 回歸方程參數檢驗 175
6.2.6 回歸方程預測 176
6.3 常用的曲線回歸 177
6.3.1 曲線回歸問題 177
6.3.2 多項式回歸 177
6.3.3 指數回歸與對數回歸 179
6.3.4 其他常見曲線回歸 179
6.4 最小二乘法及其應用 179
6.4.1 最小二乘法線性擬合 179
6.4.2 偽逆矩陣求解 180
6.4.3 Moore-Pseudo逆矩陣 181
6.4.4 最小均方誤差算法 182
6.4.5 非線性回歸 183
6.4.6 智能優化求解技術 183
6.5 Logistic回歸 184
6.5.1 Logistic回歸分類與基本函數 184
6.5.2 Logistic回歸繫數計算 185
6.6 本章小結 186
本章概念與關鍵詞 187
練習與思考 187
第7章 空間降維技術 189
7.1 主成分分析 189
7.1.1 主成分分析描述 189
7.1.2 基於協方差矩陣的主成分分析 190
7.1.3 基於相關繫數矩陣的主成分分析 192
7.1.4 主成分分析與因子分析的聯繫 193
7.1.5 主成分分析的作用 194
7.2 因子分析案例研究 196
7.2.1 研究的目的與內容 196
7.2.2 變量選取與數據來源 196
7.2.3 因子分析過程 197
7.2.4 因子回歸分析 198
7.2.5 案例研究結論 199
7.3 奇異值分解 200
7.3.1 SVD的協同過濾推薦 200
7.3.2 SVD在協同過濾中的應用 203
7.3.3 SVD增量式協同過濾方法 204
7.4 主成分回歸與逐步回歸 205
7.4.1 多重共線性 205
7.4.2 主成分回歸 207
7.4.3 逐步回歸 207
7.5 本章小結 208
本章概念與關鍵詞 208
練習與思考 209
第8章 關聯規則與點對相關性 210
8.1 頻繁模式與關聯規則的基本概念 210
8.1.1 頻繁模式的基本概念 210
8.1.2 關聯規則的基本概念 211
8.1.3 極大頻繁模式與閉頻繁模式 212
8.2 頻繁模式挖掘 213
8.2.1 Apriori算法 213
8.2.2 垂直數據格式 214
8.2.3 基於頻繁模式計算關聯規則 215
8.3 頻繁模式樹 216
8.3.1 頻繁模式樹的構建 216
8.3.2 頻繁模式樹的遞歸過程 219
8.4 點對相似度的典型度量 220
8.4.1 點對關繫常見度量 220
8.4.2 點對相關性度量的幾種特性 222
8.5 信息熵及其應用與點對相關性度量 224
8.5.1 信息熵 224
8.5.2 聯合熵與互信息 226
8.5.3 信息增益、相對熵和交叉熵 228
8.5.4 互信息、交叉熵用於相關性 229
8.6 本章小結 230
本章概念與關鍵詞 230
練習與思考 231
第9章 決策樹 232
9.1 分類問題與模型訓練 232
9.1.1 分類問題描述 232
9.1.2 分類問題舉例與泛化問題 233
9.1.3 分類模型的常見評價指標 235
9.2 決策樹及ID3算法 236
9.2.1 決策樹概述 236
9.2.2 ID3算法 238
9.3 C4.5算法與連續屬性特征分類樹 241
9.3.1 C4.5算法 241
9.3.2 連續屬性的決策樹構建 241
9.4 CART決策樹 243
9.4.1 CART分類樹 243
9.4.2 CART回歸樹 244
9.5 決策樹剪枝 250
9.5.1 剪枝問題的提出與先剪枝技術 250
9.5.2 錯誤率降低剪枝法 251
9.5.3 悲觀剪枝法 251
9.5.4 代價復雜度剪枝法 254
9.6 ROC曲線與AUC指標 255
9.6.1 ROC曲線描述與繪制 255
9.6.2 ROC曲線繪制與作用 257
9.6.3 AUC指標與應用 258
9.7 本章小結 259
本章概念與關鍵詞 259
練習與思考 260
第10章 貝葉斯分類 261
10.1 連續屬性貝葉斯分類器 261
10.1.1 單個連續屬性貝葉斯分類 261
10.1.2 多個連續屬性的最小總風險決策 262
10.1.3 多個連續屬性的最小平均誤差率決策 263
10.2 正態概率分布下的貝葉斯分類器 264
10.2.1 分類器的判別函數表示形式 264
10.2.2 正態分布下的貝葉斯判別函數 264
10.2.3 正態分布下的貝葉斯判別舉例 265
10.3 離散屬性貝葉斯分類器 267
10.3.1 離散屬性貝葉斯模型 267
10.3.2 樸素貝葉斯分類器 267
10.4 樸素貝葉斯文本分類和TAN貝葉斯模型 270
10.4.1 樸素貝葉斯文本分類器 270
10.4.2 TAN貝葉斯分類模型 272
10.5 貝葉斯分類器中的參數估計與非參數估計 276
10.5.1 貝葉斯分類器中的參數估計 276
10.5.2 非參數估計 277
10.6 本章小結 278
本章概念與關鍵詞 279
練習與思考 279
第11章 特征空間與判別分析 280
11.1 特征空間 280
11.1.1 特征空間構造 280
11.1.2 特征空間評價 282
11.1.3 特征空間變換 284
11.1.4 證據空間 285
11.2 特征提取與特征選擇 285
11.2.1 特征提取 285
11.2.2 特征選擇 285
11.2.3 jiang相關繫數 286
11.2.4 過濾式特征選擇 288
11.2.5 封裝式特征選擇 288
11.2.6 嵌入式特征選擇 289
11.3 極大似然判別分析 289
11.3.1 極大似然判別分析的工作過程 289
11.3.2 極大似然判別分析的應用舉例 290
11.4 距離判別分析 290
11.4.1 距離與相似度的常用度量 290
11.4.2 距離判別分析的工作原理 291
11.4.3 距離判別法的檢驗與多總體距離判別 293
11.4.4 兩總體方差是否有相同的檢驗 294
11.4.5 加權的距離或相似度應用於距離判別分析與kNN分類模型 296
11.5 Fisher判別分析 296
11.5.1 兩類別的線性判別中的很好投影方向 296
11.5.2 兩類別的線性判別過程 298
11.5.3 多重線性判別分析 299
11.5.4 Fisher判別分析應用舉例 301
11.6 本章小結 303
本章概念與關鍵詞 303
練習與思考 303
第12章 感知機與支持向量機 305
12.1 線性判別函數 305
12.1.1 線性判別函數表示 305
12.1.2 多重線性判別函數 306
12.1.3 廣義線性判別函數 306
12.2 感知機分類器 307
12.2.1 M-P模型 307
12.2.2 感知機結構 308
12.2.3 感知機訓練算法 309
12.2.4 感知機應用舉例 312
12.3 感知機訓練算法擴展 313
12.3.1 感知機的典型訓練算法 313
12.3.2 感知機松弛算法 314
12.3.3 最小均方誤差求解算法 314
12.3.4 Ho-kashyap求解算法 316
12.3.5 多分類擴展偽逆求解 317
12.3.6 感知機的對偶形式 318
12.4 優選間隔超平面與結構風險 319
12.4.1 優選間隔超平面 319
12.4.2 經驗風險最小化與結構風險最小化 320
12.5 支持向量機 323
12.5.1 線性可分時的支持向量機 323
12.5.2 數據不可分時的線性SVM 327
12.5.3 非線性支持向量機 332
12.5.4 支持向量機中的其他問題 336
12.6 本章小結 338
本章概念與關鍵詞 339
練習與思考 339
第13章 人工神經網絡 341
13.1 激活函數與多層感知機 341
13.1.1 常見激活函數 341
13.1.2 多層感知機結構 344
13.1.3 多層感知機設計 345
13.2 BP神經網絡 347
13.2.1 BP神經網絡及BP算法 347
13.2.2 BP算法訓練中的注意事項 351
13.3 BP神經網絡應用 355
13.3.1 二分類問題應用 355
13.3.2 多分類問題與擬合問題 359
13.4 深度學習 361
13.4.1 深度學習技術環境 361
13.4.2 卷積神經網絡 363
13.4.3 卷積神經網絡訓練與應用舉例 368
13.4.4 循環神經網絡 373
13.4.5 其他深度學習技術 376
13.5 本章小結 378
本章概念與關鍵詞 379
練習與思考 379
第14章 集成學習 381
14.1 機器學習中的若干問題 381
14.1.1 機器學習的主要任務類型 381
14.1.2 機器學習的泛化問題 382
14.1.3 維數災難問題 384
14.1.4 機器學習模型的優越性問題 385
14.2 統計量重抽樣技術 386
14.2.1 偏差與方差 386
14.2.2 刀切法統計量估計 387
14.2.3 自助法統計量估計 388
14.3 分類器重抽樣技術與組合分類器 389
14.3.1 Bagging法 389
14.3.2 Boosting法 389
14.3.3 Bagging法與Boosting法的主要特點 390
14.3.4 組合分類器 390
14.4 隨機森林與Adaboost算法 393
14.4.1 隨機森林 393
14.4.2 Adaboost算法 396
14.5 分類模型中的若干問題 397
14.5.1 用二分類器處理多分類問題 397
14.5.2 多標簽分類方法 399
14.5.3 類別數據不平衡問題 400
14.5.4 單純提高準確率與單純提高召回率的方法 401
14.6 本章小結 402
本章概念與關鍵詞 403
練習與思考 403
第15章 聚類分析與離群點分析 404
15.1 聚類問題與聚類類型 404
15.1.1 聚類問題 404
15.1.2 聚類類型 405
15.2 基於劃分的聚類 406
15.2.1 k-means聚類 406
15.2.2 k-medoids聚類 408
15.3 層次聚類 410
15.3.1 簇間距離的計算 410
15.3.2 層次聚類方法 410
15.4 基於密度的聚類 412
15.4.1 DBSCAN聚類 412
15.4.2 OPTICS聚類 415
15.5 基於網格的聚類與基於模型的聚類 417
15.5.1 CLIQUE聚類 417
15.5.2 自組織神經網絡聚類原理 418
15.6 離群點分析 420
15.6.1 離群點分析 420
15.6.2 離群點檢測 420
15.7 本章小結 421
本章概念與關鍵詞 422
練習與思考 422
附錄A Mann-Whitney U檢驗的臨界表 424
附錄B Wilcoxon signed-rank檢驗按符號秩和的臨界表 424
附錄C Wilcoxon signed-rank檢驗按min(正號秩，負號秩)的臨界表 425
附錄D q分布(Studentized range distribution)的臨界表 426
附錄E Dunnett雙尾檢驗的臨界表 428
附錄F 相關繫數R和判定繫數R2的臨界表 430
附錄G 鳶尾花數據集 431
參考文獻 433

本書講解了數據分析與數據挖期的理論和方法，包括描述性統計、假設檢驗、方差分析、回歸分析、關聯規則、決策樹、貝葉斯模型、判別分析、支持向量機、神經網絡、聚類分析、離群點分析等，同時配有應用舉例。大數據分析、人工智能與互聯網的發展為該領域的研究提出了新的需求，本書在闡述理論方法的同時，也注重實踐，更注重知識體繫結構。書中的理論和技術既能作為科研的基礎，也能直接用來解決實際問題。本書可作為相關專業高年級本科生和研究生的教學用書，也可作為數據分析與數據挖掘研究人員的參考用書。各種編程語言均可實現本書中的理論方法，如Python、C++和R等，還有許多軟件工具可用，如SPSS等。木書配套的編程軟件工具有利於將理論和技術應用於實踐。