●第1章統計學習及監督學習概論.3
1.1統計學習.3
1.2統計學習的分類.5
1.2.1基本分類.6
1.2.2按模型分類11
1.2.3按算法分類13
1.2.4按技巧分類13
1.3統計學習方法三要素15
1.3.1模型15
1.3.2策略16
1.3.3算法19
1.4模型評估與模型選擇19
1.4.1訓練誤差與測試誤差19
1.4.2過擬合與模型選擇20
1.5正則化與交叉驗證23
1.5.1正則化23
1.5.2交叉驗證.24
1.6泛化能力.24
1.6.1泛化誤差.24
1.6.2泛化誤差上界25
1.7生成模型與判別模型27
1.8監督學習應用28
1.8.1分類問題.28
1.8.2標注問題.30
1.8.3回歸問題.32
本章概要33
繼續閱讀33
習題33
參考文獻34
第2章感知機35
2.1感知機模型35
2.2感知機學習策略.36
2.2.1數據集的線性可分性36
2.2.2感知機學習策略.37
2.3感知機學習算法.38
2.3.1感知機學習算法的原始形式38
2.3.2算法的收斂性41
2.3.3感知機學習算法的對偶形式43
本章概要46
繼續閱讀46
習題46
參考文獻47
第3章k近鄰法49
3.1k近鄰算法49
3.2k近鄰模型50
3.2.1模型50
3.2.2距離度量.50
3.2.3k值的選擇52
3.2.4分類決策規則52
3.3k近鄰法的實現：kd樹.53
3.3.1構造kd樹.53
3.3.2搜 d樹.55
本章概要57
繼續閱讀57
習題58
參考文獻58
第4章樸素貝葉斯法59
4.1樸素貝葉斯法的學習與分類59
4.1.1基本方法.59
4.1.2後驗概率優選化的含義.61
4.2樸素貝葉斯法的參數估計62
4.2.1極大似然估計62
4.2.2學習與分類算法.62
4.2.3貝葉斯估計64
本章概要65
繼續閱讀66
習題66
參考文獻66
第5章決策樹67
5.1決策樹模型與學習67
5.1.1決策樹模型67
5.1.2決策樹與if-then規則.68
5.1.3決策樹與條件概率分布.68
5.1.4決策樹學習69
5.2特征選擇.71
5.2.1特征選擇問題71
5.2.2信息增益.72
5.2.3信息增益比76
5.3決策樹的生成76
5.3.1ID3算法.76
5.3.2C4.5的生成算法78
5.4決策樹的剪枝78
5.5CART算法.80
5.5.1CART生成.81
5.5.2CART剪枝.85
本章概要87
繼續閱讀88
習題89
參考文獻89
第6章邏輯斯諦回歸與優選熵模型91
6.1邏輯斯諦回歸模型91
6.1.1邏輯斯諦分布91
6.1.2二項邏輯斯諦回歸模型.92
6.1.3模型參數估計93
6.1.4多項邏輯斯諦回歸94
6.2優選熵模型94
6.2.1優選熵原理94
6.2.2優選熵模型的定義96
6.2.3優選熵模型的學習98
6.2.4極大似然估計.102
6.3模型學習的很優化算法103
6.3.1改進的迭代尺度法.103
6.3.2擬牛頓法107
本章概要.108
繼續閱讀.109
習題.109
參考文獻.109
第7章支持向量機111
7.1線性可分支持向量機與硬間隔優選化112
7.1.1線性可分支持向量機.112
7.1.2函數間隔和幾何間隔.113
7.1.3間隔優選化.115
7.1.4學習的對偶算法120
7.2線性支持向量機與軟間隔優選化.125
7.2.1線性支持向量機125
7.2.2學習的對偶算法127
7.2.3支持向量130
7.2.4合頁損失函數.131
7.3非線性支持向量機與核函數.133
7.3.1核技巧.133
7.3.2正定核.136
7.3.3常用核函數.140
7.3.4非線性支持向量分類機141
7.4序列最小很優化算法.142
7.4.1兩個變量二次規劃的求解方法143
7.4.2變量的選擇方法147
7.4.3SMO算法149
本章概要.149
繼續閱讀.152
習題.152
參考文獻.153
第8章提升方法155
8.1提升方法AdaBoost算法.155
8.1.1提升方法的基本思路.155
8.1.2AdaBoost算法.156
8.1.3AdaBoost的例子158
8.2AdaBoost算法的訓練誤差分析160
8.3AdaBoost算法的解釋.162
8.3.1前向分步算法.162
8.3.2前向分步算法與AdaBoost.164
8.4提升樹.166
8.4.1提升樹模型.166
8.4.2提升樹算法.166
8.4.3梯度提升170
本章概要.172
繼續閱讀.172
習題.173
參考文獻.173
第9章EM算法及其推廣.175
9.1EM算法的引入175
9.1.1EM算法175
9.1.2EM算法的導出179
9.1.3EM算法在無監督學習中的應用.181
9.2EM算法的收斂性.181
9.3EM算法在高斯混合模型學習中的應用.183
9.3.1高斯混合模型.183
9.3.2高斯混合模型參數估計的EM算法.183
9.4EM算法的推廣187
9.4.1F函數的極大-極大算法.187
9.4.2GEM算法189
本章概要.191
繼續閱讀.192
習題.192
參考文獻.192
第10章隱馬爾可夫模型193
10.1隱馬爾可夫模型的基本概念193
10.1.1隱馬爾可夫模型的定義193
10.1.2觀測序列的生成過程196
10.1.3隱馬爾可夫模型的3個基本問題.196
10.2概率計算算法197
10.2.1直接計算法.197
10.2.2前向算法198
10.2.3後向算法201
10.2.4一些概率與期望值的計算.202
10.3學習算法203
10.3.1監督學習方法203
10.3.2Baum-Welch算法.204
10.3.3Baum-Welch模型參數估計公式.206
10.4預測算法207
10.4.1近似算法208
10.4.2維特比算法.208
本章概要.212
繼續閱讀.212
習題.213
參考文獻.213
第11章條件隨機場215
11.1概率無向圖模型215
11.1.1模型定義215
11.1.2概率無向圖模型的因子分解217
11.2條件隨機場的定義與形式.218
11.2.1條件隨機場的定義.218
11.2.2條件隨機場的參數化形式.220
11.2.3條件隨機場的簡化形式221
11.2.4條件隨機場的矩陣形式223
11.3條件隨機場的概率計算問題224
11.3.1前向-後向算法.225
11.3.2概率計算225
11.3.3期望值的計算226
11.4條件隨機場的學習算法227
11.4.1改進的迭代尺度法.227
11.4.2擬牛頓法230
11.5條件隨機場的預測算法231
本章概要.235
繼續閱讀.235
習題.236
參考文獻.236
第12章監督學習方法總結237
第2篇無監督學習
第13章無監督學習概論245
13.1無監督學習基本原理245
13.2基本問題246
13.3機器學習三要素249
13.4無監督學習方法249
本章概要.253
繼續閱讀.254
參考文獻.254
第14章聚類方法255
14.1聚類的基本概念255
14.1.1相似度或距離255
14.1.2類或簇258
14.1.3類與類之間的距離.260
14.2層次聚類261
14.3k均值聚類.263
14.3.1模型.263
14.3.2策略.263
14.3.3算法.264
14.3.4算法特性266
本章概要.267
繼續閱讀.268
習題.269
參考文獻.269
第15章奇異值分解271
15.1奇異值分解的定義與性質.271
15.1.1定義與定理.271
15.1.2緊奇異值分解與截斷奇異值分解.276
15.1.3幾何解釋279
15.1.4主要性質280
15.2奇異值分解的計算.282
15.3奇異值分解與矩陣近似286
15.3.1弗羅貝尼烏斯範數.286
15.3.2矩陣的很優近似287
15.3.3矩陣的外積展開式.290
本章概要.292
繼續閱讀.294
習題.294
參考文獻.295
第16章主成分分析297
16.1總體主成分分析297
16.1.1基本想法297
16.1.2定義和導出.299
16.1.3主要性質301
16.1.4主成分的個數306
16.1.5規範化變量的總體主成分.309
16.2樣本主成分分析310
16.2.1樣本主成分的定義和性質.310
16.2.2相關矩陣的特征值分解算法312
16.2.3數據矩陣的奇異值分解算法315
本章概要.317
繼續閱讀.319
習題.320
參考文獻.320
第17章潛在語義分析.321
17.1單詞向量空間與話題向量空間321
17.1.1單詞向量空間321
17.1.2話題向量空間324
17.2潛在語義分析算法.327
17.2.1矩陣奇異值分解算法327
17.2.2例子.329
17.3非負矩陣分解算法.331
17.3.1非負矩陣分解331
17.3.2潛在語義分析模型.332
17.3.3非負矩陣分解的形式化332
17.3.4算法.333
本章概要.335
繼續閱讀.337
習題.337
參考文獻.337
第18章概率潛在語義分析339
18.1概率潛在語義分析模型339
18.1.1基本想法339
18.1.2生成模型340
18.1.3共現模型341
18.1.4模型性質342
18.2概率潛在語義分析的算法.345
本章概要.347
繼續閱讀.348
習題.348
參考文獻.349
第19章馬爾可夫鏈蒙特卡羅法351
19.1蒙特卡羅法.351
19.1.1隨機抽樣351
19.1.2數學期望估計353
19.1.3積分計算353
19.2馬爾可夫鏈.355
19.2.1基本定義355
19.2.2離散狀態馬爾可夫鏈356
19.2.3連續狀態馬爾可夫鏈362
19.2.4馬爾可夫鏈的性質.363
19.3馬爾可夫鏈蒙特卡羅法367
19.3.1基本想法367
19.3.2基本步驟369
19.3.3馬爾可夫鏈蒙特卡羅法與統計學習369
19.4Metropolis-Hastings算法.370
19.4.1基本原理370
19.4.2Metropolis-Hastings算法.373
19.4.3單分量Metropolis-Hastings算法374
19.5吉布斯抽樣.375
19.5.1基本原理376
19.5.2吉布斯抽樣算法377
19.5.3抽樣計算378
本章概要.379
繼續閱讀.381
習題.381
參考文獻.383
第20章潛在狄利克雷分配385
20.1狄利克雷分布385
20.1.1分布定義385
20.1.2共軛先驗389
20.2潛在狄利克雷分配模型390
20.2.1基本想法390
20.2.2模型定義391
20.2.3概率圖模型.393
20.2.4隨機變量序列的可交換性.394
20.2.5概率公式395
20.3LDA的吉布斯抽樣算法.396
20.3.1基本想法396
20.3.2算法的主要部分397
20.3.3算法的後處理399
20.3.4算法.399
20.4LDA的變分EM算法401
20.4.1變分推理401
20.4.2變分EM算法.403
20.4.3算法推導404
20.4.4算法總結411
本章概要.411
繼續閱讀.413
習題.413
參考文獻.413
第21章PageRank算法415
21.1PageRank的定義415
21.1.1基本想法415
21.1.2有向圖和隨機遊走模型416
21.1.3PageRank的基本定義.418
21.1.4PageRank的一般定義.421
21.2PageRank的計算423
21.2.1迭代算法423
21.2.2冪法.425
21.2.3代數算法430
本章概要.430
繼續閱讀.432
習題.432
參考文獻.432
第22章無監督學習方法總結.435
22.1無監督學習方法的關繫和特點435
22.1.1各種方法之間的關繫435
22.1.2無監督學習方法436
22.1.3基礎機器學習方法.437
22.2話題模型之間的關繫和特點437
參考文獻.438
附錄A梯度下降法439
附錄B牛頓法和擬牛頓法.441
附錄C拉格朗日對偶性447
附錄D矩陣的基本子空間451
附錄EKL散度的定義和狄利克雷分布的性質.455
索引.457
