譯者序
前言
致謝
關於作者
*一部分分類
*1章學會分類2
1.1分類的主要思想2
1.1.1誤差率及其他性能指標2
1.1.2更詳細的評估3
1.1.3過擬合與交叉驗證4
1.2*近鄰分類5
1.3樸素貝葉斯7
1.3.1利用交叉驗證進行模型選擇9
1.3.2數據缺失11
編程練習11
*2章支持向量機和隨機森林14
2.1支持向量機14
2.1.1鉸鏈損失15
2.1.2正則化16
2.1.3通過隨機梯度下降來尋找分類器17
2.1.4λ的搜索19
2.1.5總結：用隨機梯度下降訓練20
2.1.6例子：利用支持向量機分析成人收入21
2.1.7利用支持向量機進行多類分類23
2.2利用隨機森林進行分類23
2.2.1構造決策樹25
2.2.2用信息增益來選擇劃分27
2.2.3森林29
2.2.4構造並評估決策森林29
2.2.5利用決策森林進行數據分類30
編程練習31
MNIST練習33
第3章學習理論初步35
3.1用留出損失預測測試損失35
3.1.1樣本均值和期望36
3.1.2利用切比雪夫不等式37
3.1.3一個泛化界37
3.2有限分類器族的測試誤差與訓練誤差38
3.2.1霍夫丁不等式39
3.2.2在有限預測器族上訓練39
3.2.3所需樣例數量40
3.3無限預測器集合41
3.3.1預測器和二值函數41
3.3.2對稱化43
3.3.3限制泛化誤差44
*二部分高維數據
第4章高維數據48
4.1概述及簡單繪圖48
4.1.1均值48
4.1.2杆圖和散點圖矩陣49
4.1.3協方差51
4.1.4協方差矩陣52
4.2維數災難53
4.2.1災難：數據不是你想像的那樣53
4.2.2維數的小困擾55
4.3用均值和協方差理解高維數據55
4.3.1仿射變換下的均值和協方差56
4.3.2特征向量及矩陣對角化56
4.3.3通過旋轉數據堆來對角化協方差矩陣57
4.正態分布58
4.4.1仿射變換與高斯模型59
4.4.2繪制二維高斯模型：協方差橢圓59
4.4.3描述統計與期望60
4.4.4維數災難的更多內容61
習題61
第5章主成分分析64
5.1在主成分上表示數據64
5.1.1近似數據團塊64
5.1.2例子：變換身高體重堆65
5.1.3在主成分上表示數據67
5.1.4低維表示中的誤差68
5.1.5用NIPALS算法提取若干主成分69
5.1.6主成分和缺失值70
5.1.7PCA作為平滑方法71
5.2例子：用主成分表示顏色72
5.3例子：用主成分表示人臉75
習題77
編程練習78
第6章低秩近似80
6.1奇異值分解80
6.1.1SVD和PCA81
6.1.2SVD和低秩近似82
6.1.3用SVD進行平滑82
6.2多維縮放83
6.2.1通過高維的距離選擇低維的點83
6.2.2使用低秩近似分解因子84
6.2.3例子：利用多維縮放進行映射85
6.3例子：文本模型和潛在語義分析87
6.3.1餘弦距離88
6.3.2對單詞計數進行平滑88
6.3.3例子：對NIPS文檔進行映射89
6.3.4獲得詞的含義90
6.3.5例子：對NIPS數據集的詞進行映射92
6.3.6TF*IDF93
習題94
編程練習95
第7章典型相關分析97
7.1典型相關分析算法97
7.2例子：在詞和圖片上進行CCA99
7.3例子：在反射率和遮光上進行CCA102
編程練習105
第三部分聚類
第8章聚類108
8.1聚合式聚類和拆分式聚類108
8.2k均值算法及其變體111
8.2.1如何選擇k的值114
8.2.2軟分配115
8.2.3高效聚類和層級式k均值117
8.2.4k中心點算法117
8.2.5例子：葡萄牙的雜貨117
8.2.6關於k均值算法的一些見解119
8.3用向量量化描述重復性120
8.3.1向量量化121
8.3.2例子：基於加速度計數據的行為123
編程練習126
第9章使用概率模型進行聚類130
9.1混合模型與聚類130
9.1.1數據團塊的有限混合模型130
9.1.2主題和主題模型132
9.2EM算法133
9.2.1例子——高斯混合：E步134
9.2.2例子——高斯混合：M步136
9.2.3例子——主題模型：E步136
9.2.4例子——主題模型：M步137
9.2.5EM算法的實踐137
習題140
編程練習140
第四部分回歸
*10章回歸144
10.1概述144
10.2線性回歸和*小二乘法146
10.2.1線性回歸146
10.2.2選擇β147
10.2.3殘差148
10.2.4R2149
10.2.5變量變換150
10.2.6可以相信回歸嗎152
10.3可視化回歸以發現問題153
10.3.1問題數據點具有顯著影響153
10.3.2帽子矩陣和杠杆155
10.3.3庫克距離156
10.3.4標準化殘差156
10.4很多解釋變量158
10.4.1一個解釋變量的函數158
10.4.2正則化線性回歸159
10.4.3例子：體重與身體測量值162
附錄數據165
習題165
編程練習168
*11章回歸：選擇和管理模型170
11.1模型選擇：哪種模型*好170
11.1.1偏差與方差170
11.1.2用懲罰機制選擇模型：AIC和BIC172
11.1.3使用交叉驗證選擇模型173
11.1.4基於分階段回歸的貪心搜索174
11.1.5哪些變量是重要的174
11.2魯棒回歸175
11.2.1M估計和迭代加權*小二乘176
11.2.2M估計的尺度178
11.3廣義線性模型179
11.3.1邏輯回歸179
11.3.2多類邏輯回歸180
11.3.3回歸計數數據181
11.3.4離差181
11.4L1正則化和稀疏模型182
11.4.1通過L1正則化刪除變量182
11.4.2寬數據集185
11.4.3在其他模型上使用稀疏懲罰186
編程練習187
*12章Boosting190
12.1貪心法和分階段回歸法190
12.1.1例子：貪心分階段線性回歸190
12.1.2回歸樹192
12.1.3基於樹的貪心分階段回歸193
12.2Boosting分類器196
12.2.1損失196
12.2.2分階段降低損失的一般方法197
12.2.3例子：Boosting決策樹樁198
12.2.4決策樹樁的梯度提升199
12.2.5其他預測器的梯度提升200
12.2.6例子：醫生會開阿片類藥物嗎201
12.2.7用lasso修剪提升的預測器202
12.2.8梯度提升軟件204
習題206
編程練習207
第五部分圖模型
*13章隱馬爾可夫模型210
13.1馬爾可夫鏈210
13.1.1轉移概率矩陣212
13.1.2穩態分布214
13.1.3例子：文本的馬爾可夫鏈模型216
13.2隱馬爾可夫模型與動態規劃218
13.2.1隱馬爾可夫模型218
13.2.2用網格圖圖解推斷過程219
13.2.3基於動態規劃的推斷過程222
13.2.4例子：校正簡單文本錯誤222
13.3隱馬爾可夫模型的學習過程224
13.3.1當隱狀態有明確語義信息時225
13.3.2基於EM的隱馬爾可夫模型學習過程225
習題228
編程練習229
*14章學習序列模型的判別式方法232
14.1圖模型232
14.1.1推斷與圖232
14.1.2圖模型234
14.1.3在圖模型中的學習235
14.2用於序列的條件隨機場模型235
14.2.1MEMM和標簽偏置236
14.2.2條件隨機場模型237
14.2.3學習CRF時需要留心238
14.3CRF的判別學習239
14.3.1模型的表示239
14.3.2例子：數字序列建模240
14.3.3建立學習問題241
14.3.4梯度計算241
習題243
編程練習243
*15章平均場推斷245
15.1有用卻難解的模型245
15.1.1用玻爾茲曼機為二值圖像去噪246
15.1.2離散馬爾可夫隨機場246
15.1.3基於離散馬爾可夫隨機場的去噪和分割247
15.1.4離散馬爾可夫場的MAP推斷可能很難249
15.2變分推斷250
15.2.1KL散度250
15.2.2變分自由能251
15.3例子：玻爾茲曼機的變分推斷251
第六部分深度網絡
*16章簡單神經網絡256
16.和分類256
16.1.1來構建一個分類器：代價函數256
16.1.2來構建一個分類器：決策 258
16.1.3來構建一個分類器：訓練258
16.2例子：信用卡賬戶分類260
16.3層和網絡264
16.3.1堆疊層264
16.3.2雅可比矩陣和梯度265
16.3.3構建多層266
16.3.4梯度和反向傳播267
16.4訓練多層網絡269
16.4.1軟件環境270
16.4.2Dropout和271
16.4.3例子：再論信用卡賬戶271
16.4.4*級技巧：梯度縮放273
習題276
編程練習277
*17章簡單圖像分類器278
17.1圖像分類278
17.1.1基於卷積的模式檢測279
17.1.2卷積層的堆疊283
17.2兩個實用的圖像分類器284
17.2.1例子：MNIST數據集分類285
17.2.2例子：CIFAR*10數據集分類288
17.2.3異類：對抗樣本292
編程練習293
*18章圖像分類與物體檢測294
18.1圖像分類295
18.1.1物體圖像分類數據集295
18.1.2場景圖像分類數據集296
18.1.3增廣和集成297
18.1.4AlexNet298
18.1.5VGGNet299
18.1.6批歸一化301
18.1.7計算圖302
18.1.8Inception網絡302
18.1.9殘差網絡303
18.2物體檢測305
18.2.1物體檢測如何工作305
18.2.2選擇性搜索306
18.2.3R*CNN、Fast R*CNN和Faster R*CNN307
18.2.4YOLO309
18.2.5評價檢測器310
18.3延伸閱讀312
習題313
編程練習313
*19章大信號的小碼表示315
19.1更好的低維映射315
19.1.1薩蒙映射316
19.1.2T*SNE317
19.2產生低維表示的映射319
19.2.1編碼器、解碼器和自編碼器319
19.2.2令數據塊變得更大320
19.2.3去噪自編碼器322
19.3從例子中產生圖像325
19.3.1變分自編碼器326
19.3.2對抗損失：愚弄分類器327
19.3.3利用測試函數來匹配分布328
19.3.4通過查看距離來匹配分布329
編程練習330