基於TensorFlow 2，繫統講述如何搭建、訓練和應用深度學習模型；本書旨在填補理論和應用的鴻溝，幫助讀者更好、更快地掌握深度學習的算法和原理。本書旨在講述深度學習的各種基本算法和原理，以及如何使用Python實現這些算法。本書首先介紹深度學習的相關基礎知識，然後討論深度神經網絡的訓練、激活函數與正則化等技術，接著講述卷積神經網絡及其搭建方法，最後闡述循環神經網絡及其搭建方法。通過本書，讀者可以深入理解如何基於TensorFlow 2搭建、訓練和應用深度學習模型。本書主要內容：等

●第1章 深度學習簡介1
1.1什麼是深度學習1
1.1.1機器學習簡介1
1.1.2深度學習與傳統機器學習算法的區別4
1.1.3深度學習與人類神經網絡的關繫4
1.2為什麼需要學習深度學習5
1.3誰需要學習深度學習6
1.4學深度學習之後，你可以做什麼6
1.5本章小結6
第2章 數學和Python基礎知識7
2.1線性代數7
2.1.1數、向量、矩陣和張量7
2.1.2矩陣的轉置8
2.1.3矩陣的基本運算9
2.1.4向量和矩陣的範數10
2.2微積分10
2.2.1導數的概念10
2.2.2求導法則11
2.3概率論11
2.3.1隨機變量12
2.3.2隨機變量的分布12
2.3.3常見的概率分布13
2.3.4條件概率14
2.4Anaconda14
2.4.1安裝Anaconda14
2.4.2包的管理15
2.4.3環境的管理15
2.5Jupyter Notebook16
2.5.1安裝Jupyter Notebook16
2.5.2打開和關閉Jupyter Notebook17
2.5.3代碼框18
2.5.4標記框19
2.6Python22
2.6.1Python基礎22
2.6.2Python基本數據結構23
2.6.3控制結構和函數26
2.6.4NumPy庫28
2.6.5Pandas31
2.6.6畫圖工具32
2.7本章小結35
第3章線性模型36
3.1線性回歸模型36
3.1.1線性回歸模型簡介36
3.1.2隨機梯度下降法41
3.1.3全數據梯度下降法50
3.1.4批量隨機梯度下降法56
3.1.5學習步長59
3.1.6標準化和中心化61
3.1.73種梯度下降法的對比62
3.2logistic模型63
3.2.1logistic模型簡介63
3.2.2估計 和66
3.3本章小結70
習題70
第4章深度神經網絡72
4.1為什麼需要深度神經網絡72
4.1.1簡單神經網絡72
4.1.2具有隱藏層的神經網絡78
4.2正向傳播算法83
4.3反向傳播算法87
4.4深度神經網絡的完整訓練流程96
4.4.1隨機梯度下降法96
4.4.2批量隨機梯度下降法98
4.5本章小結102
習題103
第5章激活函數104
5.1激活函數的基本要求104
5.2輸出層的激活函數107
5.2.1因變量為定量數據107
5.2.2因變量為二分類定性數據108
5.2.3因變量為多分類定性數據108
5.2.4識別MNIST數據集中的手寫數字111
5.3隱藏層的激活函數116
5.3.1sigmoid函數116
5.3.2tanh函數118
5.3.3ReLU函數119
5.3.4Leaky ReLU函數121
5.4本章小結125
習題126
第6章模型評估和正則化130
6.1模型評估130
6.2欠擬合和過擬合133
6.3正則化140
6.3.1早停法141
6.3.2懲罰法141
6.3.3丟棄法145
6.3.4增加觀測點151
6.4本章小結151
習題152
第7章基於TensorFlow 2建立深度學習模型153
7.1安裝TensorFlow154
7.2TensorFlow 2基本用法154
7.2.1tf.Tensor154
7.2.2TensorFlow 2和NumPy的兼容性156
7.3深度神經網絡建模基本步驟156
7.3.1創建模型結構157
7.3.2訓練模型159
7.3.3評估和預測模型160
7.4基於TensorFlow 2建立線性回歸模型161
7.5基於TensorFlow 2建立神經網絡分類模型164
7.5.1神經網絡分類模型164
7.5.2神經網絡模型的正則化167
7.6本章小結169
習題170
第8章卷積神經網絡171
8.1卷積層172
8.1.1卷積運算172
8.1.2卷積層運算173
8.1.3卷積運算的直觀理解175
8.1.4填充177
8.1.5卷積層求導178
8.1.6用Python實現卷積層的計算180
8.2池化層183
8.2.1池化運算183
8.2.2池化層求導185
8.2.3用Python實現池化層的計算187
8.3卷積神經網絡189
8.4本章小結196
習題196
第9章基於TensorFlow 2搭建卷積神經網絡模型198
9.1卷積層和池化層199
9.2CNN實例——MNIST數據集和CIFAR-10數據集201
9.2.1關於MNIST數據集的實例201
9.2.2關於CIFAR-10數據集的實例207
9.3CNN建模技巧214
9.3.1卷積神經網絡的結構214
9.3.2卷積層和池化層的超參數選擇215
9.3.3經典的卷積神經網絡216
9.4本章小結219
習題219
第10章 循環神經網絡221
10.1分析IMDB的數據221
10.1.1IMDB的數據221
10.1.2神經網絡模型（IMDB）225
10.2詞嵌入229
10.3循環神經網絡231
10.4從零開始實現循環神經網絡236
10.4.1莎士比亞作品應用示例236
10.4.2正向傳播算法239
10.4.3反向傳播算法241
10.5本章小結246
習題247
第11章 搭建深度學習框架248
11.1類Tensor和自動求導248
11.1.1類248
11.1.2類Tensor250
11.1.3自動求導251
11.2為Tensor類添加運算函數並建立神經網絡模型258
11.2.1為Tensor類添加運算函數258
11.2.2使用Tensor類建立神經網絡模型264
11.3類SGD、類Layer和激活函數266
11.3.1類SGD266
11.3.2類Layer267
11.3.3激活函數270
11.4詞嵌入和循環神經網絡278
11.4.1詞嵌入278
11.4.2循環神經網絡285
11.5本章小結291
習題291
第12章 長短期記憶模型與門控模型292
12.1簡單循環神經網絡的主要缺陷292
12.2長短期記憶模型298
12.2.1LSTM模型的核心思想299
12.2.2詳解LSTM模型299
12.2.3實現LSTM模型301
12.3門控模型306
12.3.1詳解GRU模型307
12.3.2實現GRU模型308
12.4本章小結311
習題311
第13章 基於TensorFlow 2搭建循環神經網絡模型312
13.1建立LSTM模型312
13.1.1預處理數據313
13.1.2基於TensorFlow建立LSTM模型315
13.2基於TensorFlow建立GRU模型316
13.3本章小結325
習題326

本書首先介紹深度學習方面的數學知識與Python基礎知識，線性模型中的線性回歸模型和logistic模型；然後講述正向傳播算法、反向傳播算法及深度神經網絡的完整訓練流程，輸出層的激活函數和隱藏層的常見激活函數，深度學習的過擬合和欠擬合，應對過擬合的方法，以及使用TensorFlow 2建立深度神經網絡模型的步驟；接著介紹卷積神經網絡及其兩個重要的組成部分—卷積和池化，以及如何使用TensorFlow 2建立卷積神經網絡；最後討論如何從零開始實現循環神經網絡，如何搭建深度學習框架，如何使用TensorFlow 2建立循環神經網絡模型。
本書既可供從事人工智能方面研究的專業人士閱讀，也可供計算機專業的師生閱讀。

林炳清 著