《機器學習導論》從實戰出發，內容全面，從基本概念入手，介紹了各種機器學習的基本類型。現代機器學習部分，不僅僅是最受關注的深度神經網絡學習，同時還介紹了近十年取得令人關注進展的其他機器學習分支。著重於現代方法，但是也沒有忘記詳盡地介紹經典方法，刻畫了機器學習學科發展歷史上的各個裡程碑式的重要成果，基本覆蓋了機器學習技術各個時期的主要方向；第二，該書內容比較淺顯，對大多數方法的介紹做到點到為止。有利於入門學生擺脫具體算法的糾纏，快速通讀下去，避免信息破碎；第三，本書對各種方法的關聯性做了重點闡述，有等

●第1章機器學習概述1
1.1什麼是機器學習1
1.2機器學習的基本框架2
1.3機器學習發展簡史5
1.4機器學習的流派7
1.4.1符號學派8
1.4.2貝葉斯學派8
1.4.3連接學派10
1.4.4進化仿生學派11
1.4.5哪個學派更占主流12
1.5讓人驚訝的學習13
1.5.1從猴子摘香蕉到星際大戰13
1.5.2集體學習的機器人14
1.5.3圖片理解16
1.5.4金融市場量化分析18
1.5.5AlphaGo20
1.6機器學習技術的前沿21
1.7機器智能會超過人類智能嗎22
1.8機器學習基礎23
1.81訓練、驗證與測試23
1.8.2參數過擬合、交叉驗證與正則化24
1.8.3結構過擬合與模型選擇24
1.8.4機器學習方法分類27
1.9開始你的機器學習之旅29
1.9.1如何開始一個機器學習任務29
1.9.2如何學習機器學習30
1.10相關資源30
第2章線性模型33
2.1線性預測模型33
2.1.1從多項式擬合說起34
2.1.2線性回歸36
2.1.3Fisher準則與線性分類39
2.1.4Logistic回歸42
2.1.5小結44
2.2線性概率模型45
2.2.1主成分分析46
2.2.2概率主成分分析47
2.2.3概率線性判別分析50
2.3貝葉斯方法52
2.4本章小結54
2.5相關資源55
第3章神經模型56
3.1神經網絡概述57
3.1.1什麼是人工神經網絡58
3.1.2神經模型與其他方法58
3.2基於映射的神經模型59
3.2.1從線性模型開始59
3.2.2多層感知器62
3.2.3徑向基函數網絡67
3.2.4神經網絡模型與先驗知識69
3.3基於記憶的神經模型72
3.3.1Kohonen網絡73
3.3.2Hopfield網絡75
3.3.3玻爾茲曼機78
3.3.4受限玻爾茲曼機81
3.3.5自編碼器84
3.4基於過程的模型87
3.4.1ElmanRNN88
3.4.2門網絡89
3.4.3序列對序列網絡93
3.4.4基於Attention模型的詩詞生成95
3.5神經圖靈機97
3.6本章小結99
3.7相關資源100
第4章深度學習101
4.1從淺層學習到深度學習101
4.1.1網絡表達能力102
4.1.2層次表示與特征學習103
4.1.3顯著特征的非監督學習104
4.1.4復雜結構與數據驅動109
4.2深度神經網絡訓練110
4.2.1基礎訓練算法110
4.2.2DNN訓練的困難116
4.2.3DNN訓練技巧125
4.3神經網絡的正則化134
4.3.1結構化網絡與參數共享135
4.3.2範式約束與稀疏網絡137
4.3.3加噪訓練與數據增強140
4.3.4聯合訓練140
4.3.5知識遷移143
4.4生成模型下的深度學習145
4.4.1神經網絡的簡單概率表達145
4.4.2後驗擬合與VariationalAE147
4.4.3VariationalRNN151
4.5計算圖與復雜神經網絡153
4.5.1由ChainRule到計算圖154
4.5.2基於計算圖的參數優化156
4.5.3計算圖的模塊化157
4.5.4計算圖與深度神經網絡157
4.6計算平臺與方法160
4.6.1GPU與TPU160
4.6.2並行計算161
4.6.3模型壓縮167
4.7深度學習的應用169
4.7.1語音信號處理169
4.7.2自然語言處理173
4.7.3計算機視覺176
4.8本章小結179
4.9相關資源180
第5章核方法181
5.1從線性回歸到核方法183
5.2核函數的性質184
5.2.1再生核希爾伯特空間與Mercer定理184
5.2.2核函數的基本性質186
5.3常用核函數186
5.3.1簡單核函數187
5.3.2概率核188
5.3.3復雜對像上的核函數189
5.4KernelPCA195
5.5高斯過程197
5.6支持向量機199
5.6.1線性可分的SVM200
5.6.2線性不可分的SVM202
5.6.3v-SVM204
5.6.4SVM的若干討論205
5.7相關向量機206
5.8本章小結208
5.9相關資源209
第6章圖模型210
6.1概率圖模型簡介211
6.2有向圖模型212
6.2.1典型模型212
6.2.2有向圖變量相關性判斷214
6.3無向圖模型217
6.3.1無向圖變量相關性判斷218
6.3.2有向圖向無向圖轉化219
6.3.3有向圖和無向圖對比221
6.4常用概率圖模型221
6.4.1高斯混合模型221
6.4.2隱馬爾可夫模型225
6.4.3線性條件隨機場229
6.5EM算法232
6.6準確推理算法235
6.6.1加和—乘積算法235
6.6.2樹狀圖的加和—乘積算法237
6.6.3聯合樹算法238
6.7近似推理算法240
6.7.1采樣法241
6.7.2變分法246
6.7.3采樣法和變分法比較250
6.8本章小結250
6.9相關資源251
第7章無監督學習252
7.1無監督學習任務253
7.1.1聚類概述253
7.1.2流形學習概述254
7.1.3因子學習255
7.2聚類方法256
7.2.1基於劃分的聚類方法256
7.2.2基於連接的聚類方法258
7.2.3基於密度的聚類方法262
7.2.4基於模型的聚類方法263
7.3流形學習264
7.3.1主成分分析266
7.3.2多維標度268
7.3.3ISOMAP269
7.3.4自組織映射271
7.3.5局部線性嵌入273
7.3.6譜嵌入276
7.3.7t-SNE276
7.3.8流形學習方法比較279
7.4圖模型與無監督學習279
7.4.1圖模型下的聚類任務279
7.4.2圖模型下的流形學習280
7.4.3圖模型下的因子學習281
7.5神經模型與無監督學習282
7.5.1特征學習任務中的因子學習282
7.52生成任務中的因子學習283
7.5.3分類/回歸任務中的因子學習283
7.6本章小結285
7.7相關資源286
第8章非參數模型287
8.1簡單非參數模型288
8.2回顧高斯過程290
8.2.1高斯過程定義290
8.2.2高斯過程回歸292
8.2.3高斯過程用於分類任務296
8.3狄利克雷過程296
8.3.1回顧高斯混合模型297
8.3.2中國餐館問題298
8.3.3狄利克雷分布及性質300
8.3.4狄利克雷過程的定義302
8.3.5狄利克雷過程的表示303
8.3.6狄利克雷過程的構造307
8.3.7推理方法309
8.3.8HierarchicalDP(HDP)311
8.4本章小結312
8.5相關資源313
第9章演化學習315
9.1基於采樣的優化方法316
9.1.1演化學習316
9.1.2群體學習與隨機優化317
9.2遺傳算法318
9.2.1算法框架319
9.2.2算法細節320
9.2.3進化理論324
9.3遺傳編程328
9.3.1算法基礎328
9.3.2GP高級話題333
9.3.3其他演化學習方法335
9.4群體學習方法336
9.4.1蟻群優化算法337
9.4.2人工蜂群算法338
9.4.3粒子群算法340
9.4.4捕獵者搜索341
9.4.5螢火蟲算法342
9.5隨機優化方法342
9.5.1模擬退火算法342
9.5.2杜鵑搜索343
9.5.3和聲搜索344
9.5.4禁忌搜索344
9.6本章小節345
9.7相關資源347
第10章強化學習348
10.1強化學習概述349
10.1.1什麼是強化學習349
10.1.2與其他學習方法的區別350
10.1.3強化學習的應用352
10.2強化學習的基本要素353
10.2.1強化素353
10.2.2長期收益353
10.2.3值函數與策略優化354
10.2.4通用策略迭代355
10.2.5強化學習算法分類356
10.3值函數學習:基於模型的規劃算法358
10.3.1馬爾可夫決策過程358
10.3.2MDP中的值函數360
10.3.3策略估值:動態規劃算法361
10.3.4策略優化:策略迭代和值迭代362
10.4值函數學習:基於采樣的蒙特卡羅方法365
10.4.1學習任務與采樣方法365
10.4.2蒙特卡羅策略估值365
10.4.3蒙特卡羅策略優化367
10.5值函數學習:基於采樣的時序差分方法370
10.5.1基於TD的策略估值370
10.5.2基於TD的策略優化372
10.5.3N-stepTD與TD(λ)374
10.5.4三種值函數學習方法總結375
10.6模型學習377
10.6.1值函數學習與模型學習377
10.6.2模型學習方法378
10.6.3Dyna:混合學習方法379
10.7函數近似與策略學習380
10.7.1值函數近似381
10.7.2基於梯度的參數優化383
10.7.3基於函數近似的策略學習383
10.7.4Actor-Critic方法385
10.8深度強化學習方法386
10.8.1Atari遊戲387
10.8.2AlphaGo388
10.9本章小結391
10.10相關資源391
第11章優化方法393
11.1函數優化394
11.1.1優化問題定義394
11.1.2優化問題分類395
11.1.3基礎定理395
11.2無約束優化問題396
11.2.1線性搜索396
11.2.2置信域優化401
11.3帶約束優化問題404
11.3.1拉格朗日乘子法405
11.3.2對偶問題407
11.3.3線性規劃409
11.3.4二階規劃415
11.3.5一般非線性優化420
11.4本章小結425
11.5相關資源426
參考文獻427

本書分類介紹機器學習領域的主要模型和算法，重點闡述不同方法背後的基本假設以及它們之間的相關性，幫助讀者建立機器學習的基礎理論功底，為從事該領域的相關工作打下基礎。具體內容包括機器學習研究的總體思路、發展歷史與關鍵問題，線性模型，神經網絡及深度學習，核方法，圖模型，無監督學習，非參數模型，演化學習，強化學習，數值優化方法等。
本書可作為高等學校相關課程的教材，也可作為研究生及對機器學習感興趣的科技、工程技術人員的參考用書。

王東 著