1.知識繫統，逐層遞進。本書著重於圖神經網絡相關的繫統知識和基礎原理的講解。內容方面涵蓋了與圖神經網絡有關的完整技術棧。在上冊《PyTorch深度學習和圖神經網絡（卷1）——基礎知識》的基礎原理之上結合實踐，分別從圖像、視頻、文本、可解釋性等應用角度提供項目級別實戰案例即代碼實例。並基於圖片分類中常見的樣本不足問題，介紹了零次學習技術及實例。2.跟進前沿技術，大量引用前沿論文本書中所介紹的知識中，有很大比例源自近幾年的前沿技術。在介紹其原理和應用的同時，還附有論文的出處，這些論文引用可以方等

●第1章圖片分類模型1
1．1深度神經網絡起源2
1．2Inception繫列模型2
1．2．1多分支結構2
1．2．2全局均值池化3
1．2．3InceptionV1模型3
1．2．4InceptionV2模型4
1．2．5InceptionV3模型5
1．2．6InceptionV4模型6
1．2．7Inception-ResNetV2模型6
1．3ResNet模型6
1．3．1殘差連接的結構7
1．3．2殘差連接的原理8
1．4DenseNet模型8
1．4．1DenseNet模型的網絡結構8
1．4．2DenseNet模型的特點9
1．4．3稠密塊9
1．5PNASNet模型9
1．5．1組卷積10
1．5．2深度可分離卷積11
1．5．3空洞卷積12
1．6EfficientNet模型14
1．6．1MBConv卷積塊15
1．6．2DropConnect層16
1．7實例：使用預訓練模型識別圖片內容16
1．7．1了解torchvision庫中的預訓練模型16
1．7．2代碼實現：下載並加載預訓練模型17
1．7．3代碼實現：加載標簽並對輸入數據進行預處理18
1．7．4代碼實現：使用模型進行預測19
1．7．5代碼實現：預測結果可視化20
1．8實例：使用遷移學習識別多種鳥類21
1．8．1什麼是遷移學習21
1．8．2樣本介紹：鳥類數據集CUB-20022
1．8．3代碼實現：用torch．utils．data接口封裝數據集22
1．8．4代碼實現：獲取並改造ResNet模型27
1．8．5代碼實現：微調模型最後一層28
1．8．6代碼實現：使用退化學習率對模型進行全局微調29
1．8．7擴展實例：使用隨機數據增強方法訓練模型30
1．8．8擴展：分類模型中常用的3種損失函數31
1．8．9擴展實例：樣本均衡31
1．9從深度卷積模型中提取視覺特征33
1．9．1使用鉤子函數的方式提取視覺特征33
1．9．2使用重組結構的方式提取視覺特征34
第2章機器視覺的高級應用37
2．1基於圖片內容的處理任務38
2．1．1目標檢測任務38
2．1．2圖片分割任務38
2．1．3非極大值抑制算法39
2．1．4MaskR-CNN模型39
2．2實例：使用MaskR-CNN模型進行目標檢測與語義分割41
2．2．1代碼實現：了解PyTorch中目標檢測的內置模型41
2．2．2代碼實現：使用PyTorch中目標檢測的內置模型42
2．2．3擴展實例：使用內置的預訓練模型進行語義分割43
2．3基於視頻內容的處理任務47
2．4實例：用GaitSet模型分析人走路的姿態，並進行身份識別47
2．4．1步態識別的做法和思路47
2．4．2GaitSet模型48
2．4．3多層全流程管線50
2．4．4水平金字塔池化51
2．4損失52
2．4．6樣本介紹：CASIA-B數據集53
2．4．7代碼實現：用torch．utils．data接口封裝數據集54
2．4．8代碼實現：用torch．utils．data．sampler類創建含多標簽批次數據的采樣器60
2．4．9代碼實現：搭建GaitSet模型64
2．4．10代碼實現：自損失類67
2．4．11代碼實現：訓練模型並保存模型權重文件69
2．4．12代碼實現：測試模型72
2．4．13擴展實例：用深度卷積和優選池化優化模型77
2．4．14擴展實例：視頻采樣並提取輪廓78
2．4．15步態識別模型的局限性79
2．5調試技巧79
2．5．1解決顯存過滿損失值為0問題80
2．5．2跟蹤PyTorch顯存並查找顯存洩露點81
第3章自然語言處理的相關應用83
3．1BERT模型與NLP任務的發展階段84
3．1．1基礎的神經網絡階段84
3．1．2BERTology階段84
3．2NLP中的常見任務84
3．2．1基於文章處理的任務85
3．2．2基於句子處理的任務85
3．2．3基於句子中詞的處理任務86
3．3實例：訓練中文詞向量87
3．3．1CBOW和Skip-Gram模型87
3．3．2代碼實現：樣本預處理並生成字典88
3．3．3代碼實現：按照Skip-Gram模型的規則制作數據集90
3．3．4代碼實現：搭建模型並進行訓練92
3．3．5夾角餘弦95
3．3．6代碼實現：詞嵌入可視化96
3．3．7詞向量的應用97
3．4常用文本處理工具98
3．4．1spaCy庫的介紹和安裝98
3．4．2與PyTorch深度結合的文本處理庫torchtext99
3．4．3torchtext庫及其內置數據集與調用庫的安裝99
3．4．4torchtext庫中的內置預訓練詞向量100
3．5實例：用TextCNN模型分析評論者是否滿意100
3．5．1了解用於文本分類的卷積神經網絡模型——TextCNN101
3．5．2樣本介紹：了解電影評論數據集IMDB102
3．5．3代碼實現：引入基礎庫102
3．5．4代碼實現：用torchtext加載IMDB並拆分為數據集103
3．5．5代碼實現：加載預訓練詞向量並進行樣本數據轉化105
3．5．6代碼實現：定義帶有Mish激活函數的TextCNN模型107
3．5．7代碼實現：用數據集參數實例化模型109
3．5．8代碼實現：用預訓練詞向量初始化模型109
3．5．9代碼實現：用Ranger優化器訓練模型109
3．5．10代碼實現：使用模型進行預測112
3．6了解Transformers庫113
3．6．1Transformers庫的定義113
3．6．2Transformers庫的安裝方法114
3．6．3查看Transformers庫的版本信息115
3．6．4Transformers庫的3層應用結構115
3．7實例：使用Transformers庫的管道方式完成多種NLP任務116
3．7．1在管道方式中指定NLP任務116
3．7．2代碼實現：完成文本分類任務117
3．7．3代碼實現：完成特征提取任務119
3．7．4代碼實現：完成完形填空任務120
3．7．5代碼實現：完成閱讀理解任務121
3．7．6代碼實現：完成摘要生成任務123
3．7．7預訓練模型文件的組成及其加載時的固定文件名稱124
3．7．8代碼實現：完成實體詞識別任務124
3．7．9管道方式的工作原理125
3．7．10在管道方式中加載指定模型127
3．8Transformers庫中的AutoModel類128
3．8．1各種AutoModel類128
3．8．2AutoModel類的模型加載機制129
3．8．3Transformers庫中更多的預訓練模型130
3．9Transformers庫中的BERTology繫列模型131
3．9．1Transformers庫的文件結構131
3．9．2查找Transformers庫中可以使用的模型135
3．9．3實例：用BERT模型實現完形填空任務136
3．9．4擴展實例：用AutoModelWithMHead類替換BertForMaskedLM類138
3．10Transformers庫中的詞表工具139
3．10．1PreTrainedTokenizer類中的特殊詞139
3．10．2PreTrainedTokenizer類的特殊詞使用140
3．10．3向PreTrainedTokenizer類中添加詞144
3．10．4實例：用手動加載GPT-2模型權重的方式將句子補充完整145
3．10．5子詞的拆分148
3．11BERTology繫列模型149
3．11．1Transformer之前的主流模型149
3．11．2Transformer模型151
3．11．3BERT模型153
3．11．4GPT-2模型157
3．11．5Transformer-XL模型157
3．11．6XLNet模型158
3．11．7XLNet模型與AE模型和AR模型間的關繫161
3．11．8RoBERTa模型161
3．11．9SpanBERT模型162
3．11．10ELECTRA模型162
3．11．11T5模型163
3．11．12ALBERT模型164
3．11．13DistillBERT模型與知識蒸餾166
3．12實例：用遷移學習訓練BERT模型來對中文分類167
3．12．1樣本介紹167
3．12．2代碼實現：構建數據集168
3．12．3代碼實現：構建並加載BERT預訓練模型169
3．12．4BERT模型類的內部邏輯170
3．12．5代碼實現：用退化學習率訓練模型172
3．12．6擴展：更多的中文預訓練模型175
3．13實例：用R-GCN模型理解文本中的代詞175
3．13．1代詞數據集175
3．13．2R-GCN模型的原理與實現176
3．13．3將GAP數據集轉化成圖結構數據的思路179
3．13．4代碼實現：用BERT模型提取代詞特征181
3．13．5代碼實現：用BERT模型提取其他詞特征183
3．13．6用spaCy工具對句子依存分析185
3．13．7代碼實現：使用spaCy和批次圖方法構建圖數據集187
3．13．8代碼實現：搭建多層R-GCN模型192
3．13．9代碼實現：搭建神經網絡分類層193
3．13．10使用5折交叉驗證方法訓練模型196
第4章神經網絡的可解釋性197
4．1了解模型解釋庫198
4．1．1了解Captum工具198
4．1．2可視化可解釋性工具CaptumInsights198
4．2實例：用可解釋性理解數值分析神經網絡模型199
4．2．1代碼實現：載入模型199
4．2．2代碼實現：用梯度積分算法分析模型的敏感屬性200
4．2．3代碼實現：用LayerConductance方法查看單個網絡層中202
4．2．4代碼實現：用NeuronConductance方法查看每所關注的屬性204
4．3實例：用可解釋性理解NLP相關的神經網絡模型205
4．3．1詞嵌入模型的可解釋性方法205
4．3．2代碼實現：載入模型類並將其處理過程拆開206
4．3．3代碼實現：實例化並加載模型權重，提取模型的詞嵌入層207
4．3．4代碼實現：用梯度積分算法計算模型的可解釋性208
4．3．5代碼實現：輸出模型可解釋性的可視化圖像210
4．4實例：用Bertviz工具可視化BERT模型權重211
4．4．1什麼是Bertviz工具212
4．4．2代碼實現：載入BERT模型並可視化其權重212
4．4．3解讀BERT模型的權重可視化結果216
4．5實例：用可解釋性理解圖像處理相關的神經網絡模型219
4．5．1代碼實現：載入模型並進行圖像分類219
4．5．2代碼實現：用4種可解釋性算法對模型進行可解釋性計算220
4．5．3代碼實現：可視化模型的4種可解釋性算法結果221
4．6實例：用可解釋性理解圖片分類相關的神經網絡模型222
4．6．1了解Grad-CAM方法223
4．6．2代碼實現：加載ResNet18模型並注冊鉤子函數提取特征數據225
4．6．3代碼實現：調用模型提取中間層特征數據和輸出層權重226
4．6．4代碼實現：可視化模型的識別區域227
第5章識別未知分類的方法——零次學習229
5．1了解零次學習230
5．1．1零次學習的思想與原理230
5．1．2與零次學習有關的常用數據集232
5．1．3零次學習的基本做法233
5．1．4直推式學習233
5．1．5泛化的零次學習任務233
5．2零次學習中的常見問題233
5．2．1領域漂移問題234
5．2．2原型稀疏性問題235
5．2．3語義間隔問題235
5．3帶有視覺結構約束的VSC模型236
5．3．1分類模型中視覺特征的本質236
5．3．2VSC模型的原理237
5．3．3基於視覺中心點學習的約束方法238
5．3．4基於倒角距離的視覺結構約束方法239
5．3．5什麼是對稱的倒角距離239
5．3．6基於二分匹配的視覺結構約束方法239
5．3．7什麼是指派問題與耦合矩陣240
5．3．8基於W距離的視覺結構約束方法240
5．3．9什麼是很優傳輸241
5．3．10什麼是很優傳輸中的熵正則化242
5．4詳解Sinkhorn算法244
5．4．1Sinkhorn算法的求解轉換244
5．4．2Sinkhorn算法的原理245
5．4．3Sinkhorn算法中參數ε的原理246
5．4．4舉例Sinkhorn算法過程246
5．4．5Sinkhorn算法中的質量守恆248
5．4．6Sinkhorn算法的代碼實現250
5．5實例：使用VSC模型來識別未知類別的鳥類圖片252
5．5．1樣本介紹：用於ZSL任務的鳥類數據集252
5．5．2代碼實現：用遷移學習的方式獲得訓練數據集分類模型253
5．5．3使用分類模型提取圖片視覺特征254
5．5．4代碼實現：用多層圖卷積神經網絡實現VSC模型255
5．5．5代碼實現：基於W距離的損失函數256
5．5．6加載數據並進行訓練257
5．5．7代碼實現：根據特征距離對圖片進行分類258
5．6針對零次學習的性能分析259
5．6．1分析視覺特征的質量259
5．6．2分析直推式學習的效果260
5．6．3分析直推模型的能力261
5．6．4分析未知類別的聚類效果262
5．6．5清洗測試集263
5．6．6利用可視化方法進行輔助分析264
第6章異構圖神經網絡267
6．1異構圖的基礎知識268
6．1．1同構圖與異構圖268
6．1．2什麼是異構圖神經網絡268
6．1．3二分圖268
6．1．4局部圖卷積270
6．2二分圖的實現方式270
6．2．1用NetworkX實現二分圖270
6．2．2使用DGL構建二分圖272
6．2．3二分圖對像的調試技巧275
6．3異構圖的實現方式276
6．3．1創建異構圖276
6．3．2設置異構圖的節點個數277
6．3．3異構圖結構的查看方式278
6．3．4異構圖與同構圖的相互轉化280
6．3．5異構圖與同構圖的屬性操作方式281
6．4隨機行走采樣282
6．4．1什麼是隨機行走283
6．4．2普通隨機行走283
6．4．3帶停止概率的隨機行走284
6．4．4帶路徑概率的隨機行走284
6．4．5基於原圖的隨機行走285
6．4．6在基於異構圖的隨機行走中設置停止概率286
6．4．7基於隨機行走采樣的數據處理287
6．4．8以隨機行走的方式對鄰居節點采樣287
6．5DGL庫中的塊圖結構289
6．5．1設計塊圖的動機289
6．5．2將同構圖轉化成塊圖290
6．5．3塊圖的屬性操作290
6．5．4將二分圖轉化成塊圖291
6．6實例：使用PinSAGE模型搭建推薦繫統292
6．6．1準備MoiveLens數據集292
6．6．2代碼實現：用Panadas庫加載數據293
6．6．3Categories與category類型294
6．6．4代碼實現：生成異構圖295
6．6．5代碼實現：用邊分組方法拆分並保存數據集296
6．6．6PinSAGE模型299
6．6．7代碼實現：構建帶有鄰居節點采樣功能的數據加載器300
6．6．8代碼實現：PinSAGE模型的采樣過程305
6．6．9代碼實現：搭建PinSAGE模型309
6．6．10代碼實現：實例化PinSAGE模型類並進行訓練315
6．6．11代碼實現：用PinSAGE模型為用戶推薦電影315
6．6．12擴展：在PinSAGE模型中融合更多的特征數據317
6．7總結317

本書通過深度學習實例，從可解釋性角度出發，闡述深度學習的原理，並將圖神經網絡與深度學習結合，介紹圖神經網絡的實現技術。本書分為6章，主要內容包括：圖片分類模型、機器視覺的高級應用、自然語言處理的相關應用、神經網絡的可解釋性、識別未知分類的方法——零次學習、異構圖神經網絡。本書中的實例是在PyTorch框架上完成的，具有較高的實用價值。本書適合人工智能從業者、程序員進階學習，也適合作為大專院校相關專業師生的教學和學習用書，以及培訓學校的教材。

李金洪 著