●第2版前言
版前言
章緒論1
1.1如果數據有質量，地球將成為黑洞1
1.2學習3
1.2.1機器學習3
1.3機器學習的類別4
1.4監督學習5
1.4.1回歸5
1.4.2分類6
1.5機器學習過程7
1.6關於編程的注意事項8
1.7本書的學習路線9
拓展閱讀10
第2章預備知識11
2.1專業術語11
2.1.1權重空間11
2.1.2維度災難12
2.2知你所知：測試機器學習算法13
2.2.1過擬合14
2.2.2訓練集、測試集和驗證集14
2.2.3混淆矩陣15
2.2.4精度指標16
2.2.5受試者工作特征曲線17
2.2.6不平衡數據集17
2.2.7度量精度18
2.3數據與概率的轉換19
2.3.1最小化風險20
2.3.2樸素貝葉斯分類21
2.4基本統計概念22
2.4.1平均值22
2.4.2方差與協方差22
2.4.3高斯分布24
2.5權衡偏差與方差24
拓展閱讀26
習題26
第3、神經網絡和線性判別27
3.1大腦27
3.1.1Hebb法則27
3.1.2McCulloch和Pitt28
3.1.3McCulloch和Pitt模型的局限性29
3.2神經網絡30
3.3感知器31
3.3.1學習速率η32
3.3.2輸入偏置32
3.3.3感知器學習算法33
3.3.4感知器學習示例34
3.3.5具體實現35
3.4線性可分性39
3.4.1感知器收斂定理40
3.4.2XOR函數41
3.4.3有用的領悟42
3.4.4另一個示例：皮馬印第安人數據集43
3.4.5數據預處理44
3.5線性回歸45
3.5.1示例46
拓展閱讀47
習題48
第4章多層感知器49
4.1前向50
4.1.1偏置50
4.2後向：誤差的反向傳播50
4.2.1多層感知器算法53
4.2.2初始化權重55
4.2.3不同的輸出激活函數56
4.2.4順序和批量訓練57
4.2.5局部最小57
4.2.6利用衝量58
4.2.7小批量和隨機梯度下降58
4.2.8其他改善方法59
4.3實踐中的MLP59
4.3.1訓練數據的量59
4.3.2隱藏層的數目59
4.3.3什麼時候停止學習60
4.4MLP應用示例61
4.4.1回歸問題61
4.4.2使用MLP分類63
4.4.3分類示例：iris數據集64
4.4.4時間序列預測66
4.4.5數據壓縮：自動關聯網絡68
4.5MLP使用指南69
4.6反向傳播的推導70
4.6.1網絡輸出70
4.6.2網絡誤差70
4.6.3激活函數的要求71
4.6.4誤差的後向傳播72
4.6.5輸出激活函數74
4.6.6誤差函數的另一種形式75
拓展閱讀75
習題76
第5章徑向基函數和樣條函數77
5.1感受野77
5.2徑向基函數網絡79
5.2.1訓練RBF網絡80
5.3插值和基函數82
5.3.1基和基擴展83
5.3.2三次樣條函數84
5.3.3用樣條擬合數據84
5.3.4平滑樣條85
5.3.5更高維度86
5.3.6邊界之外86
拓展閱讀87
習題87
第6章維度約簡88
6.1線性判別分析89
6.2主成分分析91
6.2.1PCA算法與多層感知器的關繫94
6.2.2核PCA94
6.3因素分析96
6.4獨立成分分析97
6.5局部線性嵌入98
6.6ISOMAP算法100
6.6.1多維標度法101
拓展閱讀102
習題103
第7章概率學習104
7.1高斯混合模型104
7.1.1期望優選化算法105
7.1.2信息準則107
7.2最近鄰法108
7.2.1近鄰平滑109
7.2.2有效的距離計算：KD-Tree110
7.2.3距離度量112
拓展閱讀114
習題114
第8章支持向量機115
8.1很優分割115
8.1.1間隔和支持向量116
8.1.2約束優化問題117
8.1.3非線性可分問題的松弛變量119
8.2核120
8.2.1選擇核121
8.2.2示例：XOR122
8.3支持向量機算法122
8.3.1實現123
8.3.2示例125
8.4支持向量機的拓展126
8.4.1多類分類126
8.4.2支持向量機回歸127
8.4.3其他優勢128
拓展閱讀128
習題128
第9章優化和搜索130
9.1下山法130
9.1.1泰勒展開132
9.2最小二乘優化133
9.2.1Levenberg-Marquardt算法133
9.3共軛梯度法137
9.3.1示例139
9.3.2共軛梯度和MLP139
9.4搜索：三種基本方法141
9.4.1窮舉法141
9.4.2貪婪搜索142
9.4.3爬山法142
9.5開發和探索143
9.6模擬退火法143
9.6.1算法比較144
拓展閱讀145
習題145
0章進化學習146
10.1遺傳算法147
10.1.1字符串表示147
10.1.2評價適應度148
10.1.3種群148
10.1.4產生後代：選擇父母149
10.2產生後代：遺傳算子150
10.2.1交叉150
10.2.2變異151
10.2.3精英法、比賽法和小生境151
10.3使用遺傳算法153
10.3.1圖著色153
10.3.2間斷平衡154
10.3.3示例：背包問題155
10.3.4示例：四峰問題155
10.3.5遺傳算法的缺陷156
10.3.6用遺傳算法訓練神經網絡156
10.4遺傳程序157
10.5與采樣結合的進化學習158
拓展閱讀159
習題160
1章強化學習161
11.1概述161
11.2示例：迷路162
11.2.1狀態和動作空間163
11.2.2胡蘿卜和棍子：獎賞函數164
11.2.3165
11.2.4動作選擇165
11.2.5策略166
11.3馬爾可夫決策過程166
11.3.1馬爾可夫性166
11.3.2馬爾可夫決策過程中的概率167
11.4值167
11.5回到迷路的示例：利用強化學習170
11.6sarsa和Q-learning的不同171
11.7強化學習的用處172
拓展閱讀172
習題173
2章樹的學習174
12.1使用決策樹174
12.2構建決策樹175
12.2.1快速入門：信息論中的熵175
12.2.2ID3176
12.2.3基於Python的樹和圖的實現178
12.2.4決策樹的實現178
12.2.5處理連續變量180
12.2.6計算復雜度180
12.3分類和回歸樹181
12.3.1基尼不純度181
12.3.2樹回歸182
12.4分類示例182
拓展閱讀184
習題184
3章委員會決策：集成學習186
13.1boosting187
13.1.1AdaBoost187
13.1.2掘根190
13.2bagging190
13.2.1subagging191
13.3隨機森林192
13.3.1與boosting方法比較193
13.4組合分類器的不同方法194
拓展閱讀195
習題196
4章無監督學習197
14.1k-means算法197
14.1.1處理噪點200
14.1.2k-means神經網絡200
14.1.3歸一化201
14.1.4一個更好的權重更新規則202
14.1.5示例：iris數據203
14.1.6使用競爭學習來聚類203
14.2向量量化204
14.3自組織特征映射204
14.3.1SOM算法206
14.3.2近鄰連接207
14.3.3自組織208
14.3.4網絡維度和邊界條件208
14.3.5SOM應用示例209
拓展閱讀211
習題211
5章馬爾可夫鏈蒙特卡羅方法213
15.1采樣213
15.1.1隨機數213
15.1.2高斯隨機數214
15.2蒙特卡羅216
15.3建議分布216
15.4馬爾可夫鏈蒙特卡羅219
15.4.1馬爾可夫鏈219
15.4.2Metropolis-Hastings算法220
15.4.3模擬退火222
15.4.4Gibbs采樣223
拓展閱讀224
習題225
6章圖模型226
16.1貝葉斯網絡227
16.1.1示例：考試恐懼227
16.1.2近似推斷230
16.1.3創建貝葉斯網絡232
16.2馬爾可夫隨機場233
16.3隱馬爾可夫模型234
16.3.1前向算法236
16.3.2Viterbi算法238
16.3.3Baum-Welch或前向後向算法239
16.4跟蹤方法242
16.4.1卡爾曼濾波242
16.4.2粒子濾波247
拓展閱讀249
習題250
7章對稱權重與深度置信網絡251
17.1積極學習:Hopfield網絡252
17.1.1聯想記憶252
17.1.2實現聯想記憶252
17.1.3能量函數255
17.1.4Hopfield網絡的容量256
17.1.5連續Hopfield網絡257
17.2隨：玻爾茲曼機257
17.2.1受限玻爾茲曼機259
17.2.2CD算法的推導262
17.2.3監督學習265
17.2.4RBM作為定向置信網絡267
17.3深度學習268
17.3.1深度置信網絡270
拓展閱讀273
習題273
8章高斯過程274
18.1高斯過程回歸275
18.1.1添加噪聲276
18.1.2高斯過程回歸的實現（一）278
18.1.3學習參數279
18.1.4高斯過程回歸的實現（二）280
18.1.5選擇（一組）協方差函數282
18.2高斯過程分類282
18.2.1拉普拉斯近似283
18.2.2計算後驗283
18.2.3高斯過程分類的實現285
拓展閱讀286
習題287
附錄Python入門288

本書不要求讀者具備很多統計背景知識，而是旨在幫助讀者理解機器學習的算法，並能動手編程和實現。涵蓋了大量的不同種類的機器學習算法實現，既給出了數學描述和偽代碼，又包含了能執行的源代碼。適合作為一學期的機器學習導論教材，鼓勵學生自己動手編程實現。

(新西蘭)史蒂芬·馬斯蘭(Stephen Marsland) 著 高陽 等 譯