"很繫統：從理論到實戰，帶你繫統學習PyTorch很實用：凝聚作者教學經驗，切中讀者入門痛點很深入：通過小試牛刀、知識加油站，加深理解重實戰：包含50多個實戰案例，可拿來就用"

●第1章 初識PyTorch1
1.1 神經網絡發展簡史1
1.1.1 神經網絡的前世今生1
1.1.2 深度學習框架對比3
1.2 環境安裝6
1.2.1 Python環境的選擇及安裝6
1.2.2 PyTorch 1.2的安裝8
1.2.3 開發環境IDE10
1.3 PyTorch的核心概念11
1.3.1 PyTorch的基本概念11
1.3.2 自動微分16
1.3.3 PyTorch的核心模塊19
1.4 實驗室小試牛刀20
1.4.1 塔珀自指公式20
1.4.2 看看你畢業了能拿多少22
1.5 加油站之高等數學知識回顧39
1.5.1 函數基礎知識39
1.5.2 常見的導數公式45
第2章 機器學習快速入門49
2.1 機器學習的分類49
2.1.1 監督學習49
2.1.2 半監督學習51
2.1.3 無監督學習51
2.1.4 強化學習52
2.2 機器學習的常見概念54
2.2.1 缺失值處理54
2.2.2 數據標準化與數據正則化56
2.2.3 交叉驗證59
2.2.4 過擬合與欠擬合61
2.3 神經網絡62
2.3.1 神經網絡的生物學發現與編程模擬62
2.3.2 人工神經網絡的核心思想69
2.4 實現線性回歸、多項式回歸和邏輯回歸70
2.4.1 PyTorch實現線性回歸70
2.4.2 PyTorch實現多項式回歸73
2.4.3 PyTorch實現邏輯回歸77
2.5 加油站之高等數學知識回顧82
2.5.1 方向導數和梯度82
2.5.2 微分及積分84
2.5.3 牛頓-萊布尼茲公式87
第3章 PyTorch與科學計算89
3.1 算子字典89
3.1.1 基本方法89
3.1.2 索引、切片、連接和換位91
3.1.3 隨機抽樣95
3.1.4 數據持久化與高並發97
3.1素級別的數學計算98
3.1.6 規約計算102
3.1.7 數值比較運算104
3.1.8 矩陣運算106
3.2 廣播機制110
3.2.1 自動廣播規則110
3.2.2 廣播計算規則111
3.3 GPU設備及並行編程112
3.3.1 device和cuda.device的基本用法112
3.3.2 CPU設備到GPU設備113
3.3.3 固定緩衝區115
3.3.4 自動設備感知117
3.3.5 並發編程118
3.4 實驗室小試牛刀之輕松搞定圖片分類121
3.4.1 softmax分類簡介123
3.4.2 定義網絡結構126
3.5 加油站之高等數學知識回顧133
3.5.1 泰勒公式及其思想133
3.5.2 拉格朗日乘子法及其思想138
第4章 激活函數、損失函數、優化器及數據加載140
4.1 激活函數140
4.1.1 Sigmoid141
4.1.2 tanh143
4.1.3 ReLU及其變形145
4.1.4 MaxOut148
4.2 損失函數150
4.2.1 L1範數損失150
4.2.2 均方誤差損失151
4.2.3 二分類交叉熵損失152
4.2.4 CrossEntropyLoss和NLLLoss計算交叉熵損失152
4.2.5 KL散度損失154
4.2.6 餘弦相似度損失155
4.2.7 多分類多標簽損失156
4.3 優化器157
4.3.1 BGD157
4.3.2 SGD158
4.3.3 MBGD159
4.3.4 Momentum160
4.3.5 NAG161
4.3.6 Adagrad161
4.3.7 Adadelta162
4.3.8 Adam163
4.4 數據加載164
4.4.1 Dataset數據集164
4.4.2 DataLoader數據加載167
4.5 初探卷積神經網絡169
4.5.1 知識科普：卷積過程及物理意義169
4.5.2 卷積神經網絡173
4.5.3 stride和padding179
4.5.4 膨脹卷積神經網絡180
4.5.5 池化182
4.6 實驗室小試牛刀184
4.6.1 設計卷積神經網絡184
4.6.2 定義卷積神經網絡185
4.6.3 模型訓練186
4.6.4 理解卷積神經網絡在學什麼189
第5章 PyTorch深度神經網絡201
5.1 計算機視覺工具包201
5.2 訓練過程的可視化204
5.2.1 TensorBoard204
5.2.2 Visdom210
5.3 深度神經網絡212
5.3.1 LeNet212
5.3.2 AlexNet214
5.3.3 ZF-Net217
5.3.4 VGG-Nets219
5.3.5 GoogLeNet222
5.3.6 ResNet224
5.3.7 DenseNet226
5.4 循環神經網絡228
5.4.1 循環神經網絡基礎模型229
5.4.2 LSTM233
5.4.3 GRU238
5.5 實驗室小試牛刀240
5.5.1 數據準備241
5.5.2 GRU網絡設計242
5.5.3 模型訓練244
5.5.4 模型預測245
5.6 加油站之概率論基礎知識回顧246
5.6.1 離散型隨機變量和連續型隨機變量246
5.6.2 概率論常用概念251
5.6.3 二維隨機變量253
5.6.4 邊緣分布255
5.6.5 期望和方差257
5.6.6 大數定理258
5.6.7 馬爾可夫不等式及切比雪夫不等式259
5.6.8 中心極限定理260
第6章 自然語言處理261
6.1 自然語言基礎261
6.1.1 自然語言發展史261
6.1.2 自然語言處理中的常見任務264
6.1.3 統計自然語言理論266
6.1.4 使用隱馬爾可夫模型實現中文分詞278
6.2 提取關鍵字281
6.2.1 TF-IDF281
6.2.2 TextRank283
6.2.3 主題模型284
6.3 Word2vec和詞嵌入285
6.3.1 N-Gram模型286
6.3.2 詞袋模型287
6.3.3 Word2vec詞向量的密集表示288
6.3.4 使用Word2vec生成詞向量297
6.3.5 Word2vec源碼調試299
6.3.6 在PyTorch中使用詞向量300
6.4 變長序列處理302
6.4.1 pack_padded_sequence壓縮304
6.4.2 pad_packed_sequence解壓縮306
6.5 Encoder-Decoder框架和注意力機制307
6.5.1 Encoder-Decoder框架308
6.5.2 注意力機制309
6.6 實驗室小試牛刀之對話機器人312
6.6.1 中文對話語料313
6.6.2 構建問答詞典313
6.6.3 DataLoader數據加載315
6.6.4 Encoder雙向多層GRU318
6.6.5 運用注意力機制320
6.6.6 Decoder多層GRU321
6.6.7 模型訓練323
6.6.8 答案搜索及效果展示324
6.7 加油站之常見的幾種概率分布326
6.7.1 二項分布326
6.7.2 正態分布327
6.7.3 均勻分布328
6.7.4 泊松分布330
6.7.5 卡方分布332
6.7.6 Beta分布333
第7章 自然語言的曙光：預訓練模型336
7.1 預訓練模型的應用336
7.2 從詞嵌入到ELMo337
7.2.1 詞嵌入頭上的烏雲337
7.2.2 ELMo338
7.3 從ELMo模型到GPT模型341
7.3.1 GPT模型341
7.3.2 使用GPT模型342
7.4 從GPT模型到BERT模型344
第8章 自然語言處理利器：AllenNLP349
8.1 中文詞性標注349
8.1.1 DatasetReader數據讀取350
8.1.2 定義Model模型352
8.1.3 模型訓練354
8.1.4 模型預測355
8.1.5 模型保存和加載356
8.2 AllenNLP 使用Config Files356
8.2.1 參數解析357
8.2.2 注冊數據讀取器和模型357
8.2.3 定義Jsonnet配置文件357
8.2.4 命令行工具359
8.2.5 特征融合360
8.2.6 制作在線Demo362
第9章 FastAI高層深度學習框架364
9.1 FastAI框架中的原語364
9.2 在FastAI框架中使用BERT模型完成中文分類365
9.2.1 分詞器365
9.2.2 定義字典368
9.2.3 數據準備368
9.2.4 構建Databunch和Learner370
9.2.5 模型訓練371
9.2.6 模型保存和加載371
9.2.7 模型預測372
9.2.8 制作Rest接口提供服務372
第10章 PyTorch Big Graph嵌入374
10.1 PyTorch Big Graph簡介374
10.1.1 PBG模型375
10.1.2 模型的表示376
10.1.3 正樣本、負樣本及損失函數377
10.1.4 分布式訓練377
10.1.5 批量負采樣379
10.2 PBG實踐應用379
10.2.1 模型配置文件380
10.2.2 劃分訓練集和測試集381
10.2.3 模型訓練和驗證382
10.2.4 圖嵌入向量及應用384

本書以深度學習為核心，詳細講解Pytorch技術堆棧，力求使用最直白的語言，帶更多的小白學員入門甚至精通深度學習。本書共分為10個章節，前五個章節主要講解深度學習中的基本算法及概念，通過使用Pytorch實現經典的神經網絡並輔以"課後加油站”小節補充數學知識，力求讓每一個知識點、每一個章節、每一個實驗都能在學員腦海中留下印像，做到看了能做、做了能會、會了能用。後面五個章節作為Pytorch的進階，會講使用Pytorch構建深度神經網絡、使用HMM實現中文分詞、訓練聊天機器人等有意思的小實驗。引入當下 的自然語言預訓練模型如Elmo、BERT等，教會讀者使用自然語言利器AllenNLP及高階框架FastAI。最後一章講解當下 的圖嵌入技術，對知識圖譜感興趣的童鞋可以深入的研究。

張敏 編