有別於以卷積神經網絡、循環神經網絡等基礎概念為核心的同類書籍，本書梳理了近10年來深度學習方向誕生的算法，從算法理論、算法源碼、實驗結果等方面對算法進行分析和介紹，重點討論深度學習在卷積神經網絡、自然語言處理、模型優化等方向的發展歷程以及各個算法的優缺點，分析各個算法是如何針對先前算法的若干問題提出解決方案的。本書共三篇，第一篇卷積神經網絡，從基礎骨干網絡、輕量級CNN、模型架構搜索3個方向展開，介紹計算機視覺方向的裡程碑算法；第二篇自然語言處理，介紹基礎序列模型和模型預訓練；第三篇模型優化，等

●第1章基礎骨干網絡3
1.1起源：LeNet-5和AlexNet4
1.1.1從LeNet-5開始4
1.1.2覺醒：AlexNet6
1.2更深：VGG11
1.2.1VGG介紹11
1.2.2VGG的訓練和測試13
1.3更寬：GoogLeNet14
1.3.1背景知識14
1.3.2Inceptionv117
1.3.3GoogLeNet19
1.3.4Inceptionv219
1.3.5Inceptionv320
1.3.6Inceptionv421
1.3.7Inception-ResNet23
1.4跳躍連接：ResNet26
1.4.1殘差網絡26
1.4.2殘差網絡背後的原理28
1.4.3殘差網絡與模型集成33
1.5注意力：SENet33
1.5.1SE塊33
1.5.2SE-Inception和SE-ResNet34
1.5.3SENet的復雜性分析35
1.5.4小結35
1.6更密：DenseNet36
1.6.1DenseNet算法解析及源碼實現37
1.6.2壓縮層38
1.6.3小結38
1.7模型集成：DPN39
1.7.1高階RNN、DenseNet和殘差網絡39
1.7.2DPN詳解41
1.7.3小結.42
1.8像素向量：iGPT43
1.8.1iGPT詳解44
1.8.2實驗結果分析48
1.8.3小結49
1.9Visual Transformer之Swin Transformer49
1.9.1網絡結構詳解50
1.9.2Swin Transformer家族59
1.9.3小結.60
1.10Vision Transformer之CSWin Transformer60
1.10.1CSWin Transformer概述61
1.10.2十字形窗口自注意力機制61
1.10.3局部加強位置編碼62
1.10.4CSWin Transformer塊63
1.10.5CSWin Transformer的復雜度63
1.10.6小結64
1.11MLP:MLP-Mixer64
1.11.1網絡結構64
1.11.2討論67
第2章輕量級CNN68
2.1SqueezeNet68
2.1.1SqueezeNet的壓縮策略69
2.1.2點火模塊69
2.1.3SqueezeNet的網絡結構70
2.1.4SqueezeNet的性能72
2.1.5小結72
2.2MobileNet v1和MobileNet v273
2.2.1MobileNet v173
2.2.2MobileNet v277
2.2.3小結79
2.3Xception80
2.3.1Inception回顧80
2.3.2Xception詳解81
2.3.3小結82
2.4ResNeXt82
2.4.1從全連接講起83
2.4.2簡化Inception83
2.4.3ResNeXt詳解84
2.4.4分組卷積84
2.4.5小結85
2.5ShuffleNet v1和ShuffleNet v285
2.5.1ShuffleNetv185
2.5.2ShuffleNetv288
2.5.3小結92
2.6CondenseNet92
2.6.1分組卷積的問題93
2.6.2可學習分組卷積93
2.6.3架構設計96
2.6.4小結96
第3章模型架構搜索97
3.1PolyNet97
3.1.1結構多樣性98
3.1.2多項式模型98
3.1.3對照實驗100
3.1.4Very Deep PolyNet101
3.1.5小結102
3.2NAS103
3.2.1NAS-CNN103
3.2.2NAS-RNN106
3.2.3小結108
3.3NASNet108
3.3.1NASNet控制器109
3.3.2NASNet的強化學習110
3.3.3計劃DropPath110
3.3.4其他超參數111
3.3.5小結111
3.4PNASNet112
3.4.1更小的搜索空間112
3.4.2SMBO113
3.4.3代理函數114
3.4.4PNASNet的實驗結果115
3.4.5小結116
3.5AmoebaNet116
3.5.1搜索空間117
3.5.2年齡進化118
3.5.3AmoebaNet的網絡結構120
3.5.4小結121
3.6MnasNet121
3.6.1優化目標122
3.6.2搜索空間124
3.6.3優化策略125
3.6.4小結126
3.7MobileNetv3126
3.7.1參考結構127
3.7.2網絡搜索127
3.7.3人工設計129
3.7.4修改SE塊131
3.7.5Lite R-ASPP132
3.7.6小結133
3.8EfficientNet v1133
3.8.1背景知識133
3.8.2EfficientNet v1詳解135
3.8.3小結137
3.9EfficientNet v2137
3.9.1算法動機137
3.9.2EfficientNet v2詳解139
3.10RegNet141
3.10.1設計空間141
3.10.2RegNet詳解145
3.10.3小結151
第二篇自然語言處理
第4章基礎序列模型155
4.1LSTM和GRU155
4.1.1序列模型的背景155
4.1.2LSTM157
4.1.3GRU159
4.1.4其他LSTM159
4.2注意力機制160
4.2.1機器翻譯的注意力機制160
4.2.2圖解注意力機制161
4.2.3經典注意力模型166
4.2.4小結170
4.3Transformer170
4.3.1Transformer詳解171
4.3.2位置嵌入177
4.3.3小結178
4.4Transformer-XL179
4.4.1Transformer的缺點179
4.4.2相對位置編碼181
4.4.3Transformer-XL詳解183
4.4.4小結185
第5章模型預訓練186
5.1RNN語言模型187
5.1.1語言模型中的RNN187
5.1.2訓練數據188
5.1.3訓練細節188
5.2ELMo189
5.2.1雙向語言模型189
5.2.2ELMo詳解191
5.2.3應用ELMo到下遊任務192
5.2.4小結.192
5.3GPT-1、GPT-2和GPT-3192
5.3.1GPT-1：無監督學習193
5.3.2GPT-2：多任務學習196
5.3.3GPT-3：海量參數197
5.3.4小結200
5.4BERT200
5.4.1BERT詳解201
5.4.2小結205
5.5BERT“魔改”之RoBERTa、ALBERT、MT-DNN和XLM205
5.5.1成熟版BERT：RoBERTa206
5.5.2更快的BERT：ALBERT207
5.5.3多任務BERT：MT-DNN207
5.5.4多語言BERT：XLM209
5.5.5小結211
5.6XLNet211
5.6.1背景知識.212
5.6.2XLNet詳解213
5.6.3小結.216
5.7ERNIE（清華大學）216
5.7.1加入知識圖譜的動機217
5.7.2異構信息融合217
5.7.3DAE.220
5.7.4ERNIE-T的微調220
5.7.5小結221
5.8ERNIE（百度）和ERNIE2.0221
5.8.1ERNIE-B222
5.8.2ERNIE2.0.223
5.8.3小結226
第三篇模型優化
第6章模型優化方法229
6.1Dropout230
6.1.1什麼是Dropout.230
6.1.2Dropout的數學原理231
6.1.3Dropout是一個正則網絡232
6.1.4CNN的Dropout232
6.1.5RNN的Dropout233
6.1.6Dropout的變體234
6.1.7小結.236
6.2BN237
6.2.1BN詳解237
6.2.2BN的背後原理240
6.2.3小結.243
6.3LN.243
6.3.1BN的問題.244
6.3.2LN詳解.244
6.3.3對照實驗245
6.3.4小結247
6.4WN247
6.4.1WN的計算247
6.4.2WN的原理248
6.4.3BN和WN的關繫249
6.4.4WN的參數初始化249
6.4.5均值BN.249
6.4.6小結249
6.5IN250
6.5.1IST中的IN250
6.5.2IN與BN對比250
6.5.3TensorFlow中的IN.251
6.5.4小結.252
6.6GN252
6.6.1GN算法252
6.6.2GN的源碼253
6.6.3GN的原理253
6.6.4小結253
6.7SN254
6.7.1SN詳解.254
6.7.2SN的優點.256
6.7.3小結256

本書通過扎實、詳細的內容和清晰的結構，從算法理論、算法源碼、實驗結果等方面對深度學習算法進行分析和介紹。本書共三篇，第一篇主要介紹深度學習在計算機視覺方向的一些卷積神經網絡，從基礎骨干網絡、輕量級 CNN、模型架構搜索 3 個方向展開，介紹計算機視覺方向的裡程碑算法；第二篇主要介紹深度學習在自然語言處理方向的重要突破，包括基礎序列模型和模型預訓練；第三篇主要介紹深度學習在模型優化上的進展，包括模型優化方法。通過閱讀本書，讀者可以深入理解主流的深度學習基礎算法，搭建起自己的知識體繫，領會算法的本質，學習模型優化方法。無論是從事深度學習科研的教師及學生，還是從事算法落地實踐的工作人員，都能從本書中獲益。

劉岩(@大師兄) 著