●序
前言
常用符號表
章緒論3
1.1人工智能4
1.2機器學習7
1.3表示學習8
1.4深度學習11
1.5神經網絡13
1.6本書的知識體繫17
1.7常用的深度學習框架18
1.8總結和深入閱讀20
第2章機器學習概述23
2.1基本概念24
2.2機器學習的三個基本要素26
2.3機器學習的簡單示例——線性回歸33
2.4偏差-方差分解38
2.5機器學習算法的類型41
2.6數據的特征表示43
2.7評價指標46
2.8理論和定理49
2.9總結和深入閱讀51
第3章線性模型
3.1線性判別函數和決策邊界56
3.2Logistic回歸59
3.3Softmax回歸61
3.4感知器64
3.5支持向量機71
3.6損失函數對比75
3.7總結和深入閱讀76
第二部分基礎模型
第4章前饋神經網絡81
4.82
4.1.1Sigmoid型函數83
4.1.2ReLU函數86
4.1.3Swish函數88
4.1.4GELU函數89
4.1.5Maxo89
4.2網絡結構90
4.3前饋神經網絡91
4.4反向傳播算法95
4.5自動梯度計算98
4.6優化問題103
4.7總結和深入閱讀104
第5章卷積神經網絡109
5.1卷積110
5.2卷積神經網絡115
5.3參數學習120
5.4幾種典型的卷積神經網絡121
5.5其他卷積方式127
5.6總結和深入閱讀130
第6章循環神經網絡133
6.1給網絡增加記憶能力134
6.2簡單循環網絡135
6.3應用到機器學習138
6.4參數學習140
6.5長程依賴問題143
6.5.1改進方案144
6.6基於門控的循環神經網絡145
6.7深層循環神經網絡149
6.8擴展到圖結構151
6.9總結和深入閱讀153
第7章網絡優化與正則化157
7.1網絡優化157
7.2優化算法160
7.3參數初始化171
7.4數據預處理176
7.5逐層歸一化178
7.6超參數優化183
7.7網絡正則化186
7.8總結和深入閱讀192
第8章注意力機制與外部記憶197
8.1認知神經學中的注意力198
8.2注意力機制199
8.3自注意力模型203
8.4人腦中的記憶205
8.5記憶增強神經網絡207
8.6基於神經動力學的聯想記憶211
8.6.1Hopfiel網絡212
8.7總結和深入閱讀215
第9章無監督學習219
9.1無監督特征學習220
9.2概率密度估計227
9.3總結和深入閱讀232
0章模型獨立的學習方式235
10.1集成學習235
10.1.1AdaBoost算法237
10.2自訓練和協同訓練240
10.3多任務學習242
10.4遷移學習245
10.5終身學習249
1學習252
10.7總結和深入閱讀255
第三部分進階模型
1章概率圖模型261
11.1模型表示262
11.2學習271
11.3推斷279
11.4變分推斷.283
11.5基於采樣法的近似推斷285
11.6總結和深入閱讀292
2章深度信念網絡297
12.1玻爾茲曼機297
12.2受限玻爾茲曼機304
12.3深度信念網絡309
12.4總結和深入閱讀313
3章深度生成模型317
13.1概率生成模型318
13.2變分自編碼器319
13.3生成對抗網絡327
13.3.1顯式密度模型和隱式密度模型327
13.3.2網絡分解327
13.3.3訓練329
13.3.4一個生成對抗網絡的具體實現：DCGAN330
13.3.5模型分析330
13.3.6改進模型333
13.4總結和深入閱讀336
4章深度強化學習339
14.1強化學習問題340
14.1.1典型例子340
14.1.2強化學習定義340
14.1.3馬爾可夫決策過程341
14.1.4強化學習的目標函數343
14.1.5值函數344
14.1.6深度強化學習345
14.2基於值函數的學習方法346
14.2.1動態規劃算法346
14.2.2蒙特卡羅方法349
14.2.3時序差分學習方法350
14.2.4深度Q網絡353
14.3基於策略函數的學習方法354
14.3.1REINFORCE算法356
14.3.2帶基準線的REINFORCE算法356
14.4演員-評論員算法358
14.5總結和深入閱讀360
5章序列生成模型365
15.1序列概率模型366
15.1.1序列生成367
15統計模型368
15.3深度序列模型370
15.3.1模型結構370
15.3.2參數學習373
15.4評價方法373
15.4.1困惑度373
15.4.2BLEU算法374
15.4.3ROUGE算法375
15.5序列生成模型中的學習問題375
15.5.1曝光偏差問題376
15.5.2訓練目標不一致問題377
15.5.3計算效率問題377
15.6序列到序列模型385
15.6.1基於循環神經網絡的序列到序列模型386
15.6.2基於注意力的序列到序列模型387
15.6.3基於自注意力的序列到序列模型388
15.7總結和深入閱讀390
附錄數學基礎393
附錄A線性代數394
附錄B微積分404
附錄C數學優化413
附錄D概率論420
附錄E信息論433
索引439
內容簡介
本書是深度學習領域的入門教材，繫統地整理了深度學習的知識體繫，由淺入深地闡述了深度學習的基礎知識、主要模型以及前沿研究熱點，使得讀者能有效地掌握深度學習的相關知識，並具備以深度學習技術來處理和解決大數據問題的能力。全書共15章，分為三個部分。部分為機器學習基礎：章是緒論，概要介紹人工智能、機器學習、深度學習；第2?3章介紹機器學習的基礎知識。第二部分是基礎模型：第4~6章分別講述三種主要的神經網絡模型：前饋神經網絡、卷積神經網絡和循環神經網絡；第7章介紹神經網絡的優化與正則化方法；第8章介紹神經網絡中的注意力機制和外部記憶；第9章簡要介紹一些無監督學習方法；0章介紹一些模型獨立的機器學習方法，包括集成學習、自訓練、協同訓練、多任務學習、遷移學習、終身學習等。第三部分是進階模型：1章介紹概率圖模型的基本概念；2章介紹兩種早期的深度學習模型——玻爾茲曼機和深度信念網絡；3章介紹深度生成......
