作者以學習者的身份和過來人的角度來談深度學習，對於廣大想要入門深度學習而不知方法路徑的讀者而言很有指導價值，筆記二字也能快速拉近與讀者的距離。 —— 有三AI創始人 言有三作為一本深度學習入門書籍，這本深度學習筆記幾乎覆蓋了大多數深度學習知識體繫，從DNN到CNN再到RNN，分別對應神經網絡理論基礎、計算機視覺和自然語言處理，作者以學習者和從業者的身份告訴大家深度學習怎樣學，從提綱挈領到入微細節，是一本深度學習入門好書。—— 華東師範大學統計學院 湯銀纔教授當我們談起人工智能時，可能很多人等

●第1講神經網絡與深度學習1
1.1機器學習與深度學習的關繫2
1.2感知機與神經網絡3
第2講神經網絡的過擬合與正則化7
2.1機器學習的核心要義8
2.2範數與正則化9
2.3神經網絡的正則化和Dropout11
第3講深度學習的優化算法14
3.1機器學習的數學規約15
3.2損失函數和深度學習優化算法15
3.3梯度下降法16
3.4從Momentum到Adam18
第4講卷積神經網絡21
4.1CNN發展簡史與相關人物22
4.2卷積的含義23
4.3池化和全連接26
第5講CNN圖像學習過程與可視化28
5.1CNN的直觀理解29
5.2CNN圖像學習的可視化31
第6講CNN圖像分類：從LeNet5到EfficientNet37
6.1計算機視覺的三大任務38
6.2CNN圖像分類發展史39
第7講CNN目標檢測：從RCNN到YOLO47
7.1目標檢測概述48
7.2CNN目標檢測算法49
第8講CNN圖像分割：從FCN到U-Net56
8.1語義分割和實例分割概述57
8.2語義分割58
第9講遷移學習理論與實踐65
9.1遷移學習：深度學習未來五年的驅動力？66
9.2遷移學習的使用場景66
9.3深度卷積網絡的可遷移性67
9.4遷移學習的使用方法68
9.5基於ResNet的遷移學習實驗68
第10講循環神經網絡76
10.1從語音識別到自然語言處理77
10.2RNN：網絡架構與技術79
10.3四種RNN結構81
第11講長短期記憶網絡84
11.1深度神經網絡的困擾：梯度爆炸與梯度消失85
11.2LSTM：讓RNN具備更好的記憶機制87
第12講自然語言處理與詞向量91
12.1自然語言處理簡介92
12.2詞彙表征93
12.3詞向量與語言模型94
第13講word2vec詞向量98
13.1word2vec99
13.2word2vec的訓練過程：以CBOW為例100
第14講seq2seq與注意力模型104
14.1seq2seq的簡單介紹105
14.2注意力模型105
14.3基於seq2seq和Attention機制的機器翻譯實踐108
第15講語音識別118
15.1概述119
15.2信號處理與特征提取120
15.3傳統聲學模型122
15.4基於深度學習的聲學模型123
15.5端到端的語音識別繫統簡介125
第16講從Embedding到XLNet：NLP預訓練模型簡介127
16.1從Embedding到ELMo128
16.2特征提取器：Transformer129
16.3低調王者：GPT131
16.4封神之作：BERT131
16.5持續創新：XLNet132
第17講深度生成模型之自編碼器134
17.1自編碼器135
17.2自編碼器的降噪作用136
17.3變分自編碼器138
17.4VAE的Keras實現143
第18講深度生成模型之生成式對抗網絡148
18.1GAN149
18.2訓練一個DCGAN151
第19講神經風格遷移、深度強化學習與膠囊網絡159
19.1神經風格遷移160
19.2深度強化學習162
19.3膠囊網絡166
第20講深度學習框架171
20.1概述172
20.2TensorFlow173
20.3Keras175
20.4PyTorch176
第21講深度學習數據集179
21.1CV經典數據集180
21.2NLP經典數據集187
參考文獻189

《深度學習筆記》作為一本以“筆記”命名的深度學習圖書，主要定位是面向廣大希望入門深度學習的初學者。本書以深度神經網絡(DNN)、卷積神經網絡(CNN)和循環神經網絡(RNN)為核心，詳細介紹了深度學習的理論基礎、通用方法和三大網絡的原理與實踐。全書代碼以Keras框架作為範例，對於初學者而言簡單易懂。對於深度學習而言，本書內容豐富，知識覆蓋面廣，兼有代碼實戰,適合想要入門深度學習的廣大學習者閱讀。

魯偉 著