第 1章  緒 論 1
1.1  深度學習簡介 2
1.2  神經網絡 3
1.2.1  人腦神經網絡 3
1.2.2  人工神經網絡 4
1.3  神經網絡的發展歷史 5
1.4  常用的深度學習框架 6
1.5  編程環境的安裝 8
1.5.1  安裝 Anaconda 8
1.5.2  安裝CUDA 9
1.5.3  安裝TensorFlow 14
1.5.4  安裝常用編輯器 17
第2章  機器學習基礎 18
2.1  基本概念 19
2.2  機器學習的三個基本要素 20
2.2.1  模型 20
2.2.2  學習準則 21
2.2.3  優化算法 24
2.3  機器學習的簡單示例——線性回歸 27
2.4  偏差-方差分解 31
2.5  機器學習算法的類型 34
2.6  評價指標 35
2.7  線性模型 37
2.7.1  線性判別函數和決策邊界 38
2.7.2  Logistic 回歸 41
2.7.3  Softmax 回歸 43
2.7.4  感知器 45
第3章  前饋神經網絡 51
3.1   51
3.1.1  Sigmoid 型函數 52
3.1.2  ReLU 函數 55
3.1.3  Swish 函數 57
3.1.4  GELU 函數 57
3.1.5  Maxou 58
3.2  網絡結構 58
3.2.1  前饋網絡 58
3.2.2  記憶網絡 58
3.2.3  圖網絡 59
3.3  前饋神經網絡 59
3.3.1  通用近似定理 61
3.3.2  應用到機器學習 61
3.3.3  參數學習 62
3.4  反向傳播算法 63
3.5  自動梯度計算 66
3.5.1  數值微分 66
3.5.2  符號微分 67
3.5.3  自動微分 67
3.6  優化問題 70
3.6.1  非凸優化問題 71
3.6.2  梯度消失問題 71
第4章  卷積神經網絡 73
4.1  從全連接層到卷積 73
4.1.1  不變性 74
4.1.2  限制多層感知機 75
4.1.3  卷積 76
4.1.4  回顧“沃爾多在哪裡” 76
4.2  圖像卷積 77
4.2.1  互相關運算 77
4.2.2  卷積層 79
4.2.3  圖像中目標的邊緣檢測 79
4.2.4  學習卷積核 81
4.2.5  互相關運算和卷積運算 82
4.2.6  特征映射和感受野 82
4.3  填充和步幅 82
4.3.1  填充 83
4.3.2  步幅 84
4.4  多輸入多輸出通道 85
4.4.1  多輸入通道 86
4.4.2  多輸出通道 87
4.4.3  1×1 卷積層 88
4.5  池化層 89
4.5.1  最大池化層和平均池化層 89
4.5.2  填充和步幅 91
4.5.3  多個通道 92
4.6  卷積神經網絡 93
4.6.1  LeNet 93
4.6.2  訓練 LeNet 95
第5章  現代卷積神經網絡 98
5.1  深度卷積神經網絡 98
5.1.1  學習表征 99
5.1.2  AlexNet 101
5.1.3  讀取數據集 104
5.1.4  訓練AlexNet 104
5.2  使用塊的網絡 105
5.2.1  VGG 塊 105
5.2.2  VGG 網絡 106
5.2.3  訓練VGG 108
5.3  網絡中的網絡 108
5.3.1  NiN 塊 109
5.3.2  NiN 模型 110
5.3.3  訓練NiN 111
5.4  含並行連結的網絡 111
5.4.1  Inception塊 112
5.4.2  GoogLeNet 模型 113
5.4.3  訓練GoogLeNet 116
5.5  歸一化算法 116
5.5.1  訓練深層網絡 116
5.5.2  批量歸一化層 118
5.5.3  從零實現批量歸一化層 118
5.5.4  使用批量歸一化層的 LeNet 120
5.5.5  簡明實現 122
5.5.6  爭議 123
5.6  殘差網絡 123
5.6.1  函數類 124
5.6.2  殘差塊 124
5.6.3  ResNet模型 127
5.6.4  訓練 ResNet 129
5.7  稠密連接網絡 130
5.7.1  從ResNet到DenseNet 130
5.7.2  稠密塊體 131
5.7.3  過渡層 132
5.7.4  DenseNet模型 133
5.7.5  訓練DenseNet 134
第6章  循環神經網絡 135
6.1  序列模型 135
6.1.1  統計工具 136
6.1.2  序列模型的訓練 138
6.1.3  序列模型的預測 140
6.2  文本預處理 143
6.2.1  讀取數據集 143
6.2.2  標記化 144
6.2.3  詞彙 145
6.2.4  把所有的東西放在一起 146
6.3  語言模型和數據集 147
6.3.1  學習語言模型 148
6.3.2  馬爾可夫模型與語法 149
6.3.3  自然語言統計 149
6.3.4  讀取長序列數據 152
6.4  循環神經網絡 156
6.4.1  無隱藏狀態的神經網絡 156
6.4.2  具有隱藏狀態的循環神經網絡 157
6.4.3  基於循環神經網絡的字符級語言模型 158
6.4.4  困惑度 159
6.5  循環神經網絡的從零開始實現 160
6.5.1  獨熱編碼 161
6.5.2  初始化模型參數 161
6.5.3  循環神經網絡模型 162
6.5.4  循環神經網絡模型的預測 163
6.5.5  梯度裁剪 164
6.5.6  循環神經網絡模型的訓練 165
6.6  循環神經網絡的簡潔實現 168
6.6.1  定義模型 168
6.6.2  訓練與預測 169
6.7  通過時間反向傳播 170
6.7.1  循環神經網絡的梯度分析 171
6.7.2  通過時間反向傳播細節 173
第7章  網絡優化與正則化 176
7.1  網絡優化 176
7.2  優化算法 178
7.2.1  小批量梯度下降 178
7.2.2  學習率衰減 179
7.2.3  梯度方向優化 181
7.2.4  優化算法小結 184
7.3  參數初始化 185
7.4  數據預處理 186
7.5  逐層歸一化 188
7.5.1  批量歸一化 189
7.5.2  層歸一化 190
7.5.3  其他歸一化方法 191
7.6  超參數優化 192
7.6.1  網格搜索 192
7.6.2  隨機搜索 193
7.6.3  貝葉斯優化 193
7.6.4  動態資源分配 194
7.7  網絡正則化 195
7.7.1   和  正則化 195
7.7.2  權重衰減 196
7.7.3  提前停止 197
7.7.4  丟棄法 197
7.7.5  數據增強 199
7.7.6  標簽平滑 199
7.8  總結 200
第8章  實戰演練 201
8.1  TensorFlow的MNIST手寫數字分類的實現 201
8.1.1  數據預處理 201
8.1.2  構建及訓練模型 202
8.1.3  評估準確率 207
8.1.4  模型的應用與可視化 208
8.2  車輛識別 209
8.2.1  要解決的問題 210
8.2.2  YOLO 210
8.2.3  測試已經訓練好的YOLO模型 220
8.3  人臉識別 223
8.3.1  簡單的人臉驗證 225
8.3.2  將人臉圖像編碼為128位的向量 225
8.3.3  加載訓練好的模型 229
8.3.4  模型的應用 230

??

??

??

第 1章  緒 論 1
1.1  深度學習簡介 2
1.2  神經網絡 3
1.2.1  人腦神經網絡 3
1.2.2  人工神經網絡 4
1.3  神經網絡的發展歷史 5
1.4  常用的深度學習框架 6
1.5  編程環境的安裝 8
1.5.1  安裝 Anaconda 8
1.5.2  安裝CUDA 9
1.5.3  安裝TensorFlow 14
1.5.4  安裝常用編輯器 17
第2章  機器學習基礎 18
2.1  基本概念 19
2.2  機器學習的三個基本要素 20
2.2.1  模型 20
2.2.2  學習準則 21
2.2.3  優化算法 24
2.3  機器學習的簡單示例——線性回歸 27
2.4  偏差-方差分解 31
2.5  機器學習算法的類型 34
2.6  評價指標 35
2.7  線性模型 37
2.7.1  線性判別函數和決策邊界 38
2.7.2  Logistic 回歸 41
2.7.3  Softmax 回歸 43
2.7.4  感知器 45
第3章  前饋神經網絡 51
3.1   51
3.1.1  Sigmoid 型函數 52
3.1.2  ReLU 函數 55
3.1.3  Swish 函數 57
3.1.4  GELU 函數 57
3.1.5  Maxou 58
3.2  網絡結構 58
3.2.1  前饋網絡 58
3.2.2  記憶網絡 58
3.2.3  圖網絡 59
3.3  前饋神經網絡 59
3.3.1  通用近似定理 61
3.3.2  應用到機器學習 61
3.3.3  參數學習 62
3.4  反向傳播算法 63
3.5  自動梯度計算 66
3.5.1  數值微分 66
3.5.2  符號微分 67
3.5.3  自動微分 67
3.6  優化問題 70
3.6.1  非凸優化問題 71
3.6.2  梯度消失問題 71
第4章  卷積神經網絡 73
4.1  從全連接層到卷積 73
4.1.1  不變性 74
4.1.2  限制多層感知機 75
4.1.3  卷積 76
4.1.4  回顧“沃爾多在哪裡” 76
4.2  圖像卷積 77
4.2.1  互相關運算 77
4.2.2  卷積層 79
4.2.3  圖像中目標的邊緣檢測 79
4.2.4  學習卷積核 81
4.2.5  互相關運算和卷積運算 82
4.2.6  特征映射和感受野 82
4.3  填充和步幅 82
4.3.1  填充 83
4.3.2  步幅 84
4.4  多輸入多輸出通道 85
4.4.1  多輸入通道 86
4.4.2  多輸出通道 87
4.4.3  1×1 卷積層 88
4.5  池化層 89
4.5.1  最大池化層和平均池化層 89
4.5.2  填充和步幅 91
4.5.3  多個通道 92
4.6  卷積神經網絡 93
4.6.1  LeNet 93
4.6.2  訓練 LeNet 95
第5章  現代卷積神經網絡 98
5.1  深度卷積神經網絡 98
5.1.1  學習表征 99
5.1.2  AlexNet 101
5.1.3  讀取數據集 104
5.1.4  訓練AlexNet 104
5.2  使用塊的網絡 105
5.2.1  VGG 塊 105
5.2.2  VGG 網絡 106
5.2.3  訓練VGG 108
5.3  網絡中的網絡 108
5.3.1  NiN 塊 109
5.3.2  NiN 模型 110
5.3.3  訓練NiN 111
5.4  含並行連結的網絡 111
5.4.1  Inception塊 112
5.4.2  GoogLeNet 模型 113
5.4.3  訓練GoogLeNet 116
5.5  歸一化算法 116
5.5.1  訓練深層網絡 116
5.5.2  批量歸一化層 118
5.5.3  從零實現批量歸一化層 118
5.5.4  使用批量歸一化層的 LeNet 120
5.5.5  簡明實現 122
5.5.6  爭議 123
5.6  殘差網絡 123
5.6.1  函數類 124
5.6.2  殘差塊 124
5.6.3  ResNet模型 127
5.6.4  訓練 ResNet 129
5.7  稠密連接網絡 130
5.7.1  從ResNet到DenseNet 130
5.7.2  稠密塊體 131
5.7.3  過渡層 132
5.7.4  DenseNet模型 133
5.7.5  訓練DenseNet 134
第6章  循環神經網絡 135
6.1  序列模型 135
6.1.1  統計工具 136
6.1.2  序列模型的訓練 138
6.1.3  序列模型的預測 140
6.2  文本預處理 143
6.2.1  讀取數據集 143
6.2.2  標記化 144
6.2.3  詞彙 145
6.2.4  把所有的東西放在一起 146
6.3  語言模型和數據集 147
6.3.1  學習語言模型 148
6.3.2  馬爾可夫模型與語法 149
6.3.3  自然語言統計 149
6.3.4  讀取長序列數據 152
6.4  循環神經網絡 156
6.4.1  無隱藏狀態的神經網絡 156
6.4.2  具有隱藏狀態的循環神經網絡 157
6.4.3  基於循環神經網絡的字符級語言模型 158
6.4.4  困惑度 159
6.5  循環神經網絡的從零開始實現 160
6.5.1  獨熱編碼 161
6.5.2  初始化模型參數 161
6.5.3  循環神經網絡模型 162
6.5.4  循環神經網絡模型的預測 163
6.5.5  梯度裁剪 164
6.5.6  循環神經網絡模型的訓練 165
6.6  循環神經網絡的簡潔實現 168
6.6.1  定義模型 168
6.6.2  訓練與預測 169
6.7  通過時間反向傳播 170
6.7.1  循環神經網絡的梯度分析 171
6.7.2  通過時間反向傳播細節 173
第7章  網絡優化與正則化 176
7.1  網絡優化 176
7.2  優化算法 178
7.2.1  小批量梯度下降 178
7.2.2  學習率衰減 179
7.2.3  梯度方向優化 181
7.2.4  優化算法小結 184
7.3  參數初始化 185
7.4  數據預處理 186
7.5  逐層歸一化 188
7.5.1  批量歸一化 189
7.5.2  層歸一化 190
7.5.3  其他歸一化方法 191
7.6  超參數優化 192
7.6.1  網格搜索 192
7.6.2  隨機搜索 193
7.6.3  貝葉斯優化 193
7.6.4  動態資源分配 194
7.7  網絡正則化 195
7.7.1   和  正則化 195
7.7.2  權重衰減 196
7.7.3  提前停止 197
7.7.4  丟棄法 197
7.7.5  數據增強 199
7.7.6  標簽平滑 199
7.8  總結 200
第8章  實戰演練 201
8.1  TensorFlow的MNIST手寫數字分類的實現 201
8.1.1  數據預處理 201
8.1.2  構建及訓練模型 202
8.1.3  評估準確率 207
8.1.4  模型的應用與可視化 208
8.2  車輛識別 209
8.2.1  要解決的問題 210
8.2.2  YOLO 210
8.2.3  測試已經訓練好的YOLO模型 220
8.3  人臉識別 223
8.3.1  簡單的人臉驗證 225
8.3.2  將人臉圖像編碼為128位的向量 225
8.3.3  加載訓練好的模型 229
8.3.4  模型的應用 230

??

??

??

近年來，深度學習已成為人工智能領域的研究熱點之一。從人臉識別繫統到無人自動駕駛汽車，從醫療影像診斷到語音識別，從自動機器翻譯到網頁內容智能推薦，都離不開深度學習的貢獻。隨著深度學習技術的飛速發展及其應用領域的不斷拓展，越來越多的專家、學者開始關注深度學習的未來發展方向，並且投入深度學習的發展研究中，逐漸形成了特有的理論研究和學術發展方向。
深度學習技術的研究與應用，是我國深入開展人工智能領域研究、發展智能產業和智慧經濟、實現智能制造、建設智能化社會的重要保證。本書旨在為對深度學習感興趣並從事相關研究的本科生、研究生、工程師和研究人員提供的基礎知識和Python實現方法。在內容編排方面，注重理論和實踐的結合、基礎知識和前沿技術的結合，並附有相關的應用及實戰案例。希望讀者通過閱讀和學習本書，感受到從事深度學習相關研究的樂趣。
本書共分為8章。第1章主要講解深度學習、神經網絡及其發展歷史，以及常用的深度學習框架及其編程環境的安裝方法。第2章主要介紹機器學習相關的基礎知識，包括機器學習算法的類型以及評價指標等。第3章講述前饋神經網絡模型、反向傳播算法，以及自動梯度計算。第4章講述卷積神經網絡及其相關基礎概念，包括圖像卷積、填充和步幅、池化層等。第5章介紹一些現代卷積神經網絡模型，有AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet等。第6章闡述可以處理序列信息的循環神經網絡模型及其實現。第7章闡明神經網絡優化和正則化的方法，包括數據預處理、超參數優化、網絡正則化等。第8章列舉3個基於Python的實戰演練案例，包括MNIST手寫數字分類的實現、車輛識別和人臉識別。
讀者可以掃描插圖右側的二維碼觀看彩色插圖。
本書第1章由郭肜穎、薛亞棟編寫，第2章由薛亞棟、劉鼕莉編寫，第3章由薛亞棟、王海忱編寫，第4章由薛亞棟、張輝編寫，第5~7章由郭肜穎、薛亞棟編寫，第8章由薛亞棟、李娜編寫。
由於深度學習技術一直處於不斷發展之中，再加上時間倉促、編者水平有限，難以全面、完整地對當前的研究前沿和熱點問題一一進行探討。書中難免存在不足和疏漏之處，敬請讀者給予批評指正。

  作  者      
2021年12月    

??

??

??

 Python語言簡介