CONTENTS
目錄
譯者序
前言
第一部分面向計算機視覺的
深度學習基礎知識
第1章人工神經網絡基礎2
1.1比較人工智能與傳統機器學習3
1.2人工神經網絡的構建模塊4
1.3實現前向傳播6
1.3.1計算隱藏層的值6
1.3.2應用激活函數7
1.3.3計算輸出層的值9
1.3.4計算損失值9
1.3.5前向傳播的代碼11
1.4實現反向傳播14
1.4.1梯度下降的代碼15
1.4.2使用鏈式法則實現
反向傳播17
1.5整合前向傳播與反向傳播20
1.6理解學習率的影響22
1.7總結神經網絡的訓練過程28
1.8小結29
1.9課後習題29
第2章PyTorch基礎30
2.1安裝PyTorch30
2.2PyTorch張量32
2.2.1初始化張量33
2.2.2張量運算34
2.2.3張量對像的自動梯度37
2.2.4PyTorch的張量較
NumPy的ndarrays
的優勢38
2.3使用PyTorch構建神經網絡39
2.3.1數據集、數據加載器和
批大小45
2.3.2預測新的數據點48
2.3.3實現自定義損失函數49
2.3.4獲取中間層的值50
2.4使用序貫方法構建神經網絡51
2.5保存並加載PyTorch模型54
2.5.1state dict54
2.5.2保存55
2.5.3加載55
2.6小結55
2.7課後習題56
第3章使用PyTorch構建深度
神經網絡57
3.1表示圖像57
3.2為什麼要使用神經網絡進行
圖像分析62
3.3為圖像分類準備數據64
3.4訓練神經網絡66
3.5縮放數據集以提升模型準確度71
3.6理解不同批大小的影響74
3.6.1批大小為3275
3.6.2批大小為10 00079
3.7理解不同損失優化器的影響80
3.8理解不同學習率的影響83
3.8.1學習率對縮放數據集
的影響83
3.8.2不同學習率對非縮放
數據集的影響88
3.9理解不同學習率衰減的影響90
3.10構建更深的神經網絡93
3.11理解不同批歸一化的影響94
3.11.1沒有批歸一化的非常小
的輸入值96
3.11.2經過批歸一化的非常小
的輸入值98
3.12過擬合的概念100
3.12.1添加dropout的影響100
3.12.2正則化的影響102
3.13小結106
3.14課後習題106
第二部分物體分類與目標檢測
第4章卷積神經網絡108
4.1傳統深度神經網絡的問題108
4.2CNN的構建模塊111
4.2.1卷積112
4.2.2濾波器113
4.2.3步長和填充114
4.2.4池化115
4.2.5整合各個構建模塊116
4.2.6卷積和池化的圖像平移
不變性原理117
4.3實現CNN117
4.3.1使用PyTorch構建基於
CNN的架構118
4.3.2基於Python的前向傳播121
4.4使用深度CNN分類圖像123
4.5實現數據增強127
4.5.1圖像增強127
4.5.2對一批圖像執行數據增強
及collate_fn的必要性137
4.5.3用於圖像平移的數據
增強140
4.6特征學習結果的可視化143
4.7構建對真實圖像進行分類
的CNN153
4.8小結161
4.9課後習題162
第5章面向圖像分類的遷移學習163
5.1遷移學習簡介163
5.2理解VGG16架構164
5.3理解ResNet架構174
5.4實現人臉關鍵點檢測178
5.5多任務學習—實現年齡估計
和性別分類186
5.6torch_snippets庫簡介195
5.7小結200
5.8課後習題200
第6章圖像分類的實戰技術201
6.1生成CAM201
6.2數據增強和批歸一化207
6.3模型實現的實踐要點212
6.3.1處理不平衡數據212
6.3.2分類圖像中目標的大小213
6.3.3訓練數據和驗證數據
之間的差異213
6.3.4扁平層中的節點數214
6.3.5圖像的大小214
6.3.6使用OpenCV實用程序214
6.4小結215
6.5課後習題215
第7章目標檢測基礎216
7.1目標檢測簡介216
7.2為訓練圖像樣本創建真值217
7.3理解區域建議220
7.3.1使用SelectiveSearch
生成區域建議221
7.3.2實現用於生成區域建議
的SelectiveSearch222
7.4理解IoU224
7.5非極大抑制226
7.6mAP226
7.7訓練基於R-CNN的定制目標
檢測器227
7.7.1R-CNN的工作細節227
7.7.2基於定制數據集實現
R-CNN目標檢測模型228
7.8訓練基於Fast R-CNN的定制
目標檢測器241
7.8.1Fast R-CNN的工作細節242
7.8.2基於定制數據集實現Fast R-CNN目標檢測模型242
7.9小結249
7.10課後習題249
第8章目標檢測進階250
8.1現代目標檢測算法的組成250
8.1.1錨盒250
8.1.2區域建議網絡252
8.2基於定制數據集訓練Faster
R-CNN254
8.3YOLO的工作細節260
8.4基於定制數據集訓練YOLO265
8.4.1安裝Darknet265
8.4.2設置數據集格式267
8.4.3配置架構268
8.4.4訓練和測試模型269
8.5SSD模型的工作細節270
8.6基於定制數據集訓練SSD
模型274
8.7小結278
8.8課後習題278
第9章圖像分割279
9.1探索U-Net架構279
9.2使用U-Net實現語義分割283
9.3探索Mask R-CNN架構288
9.3.1RoI對齊290
9.3.2掩碼頭部291
9.4使用Mask R-CNN實現實例
分割292
9.5小結305
9.6課後習題306
第10章目標檢測與分割的應用307
10.1多目標實例分割307
10.1.1獲取和準備數據308
10.1.2訓練用於實例分割的
模型312
10.1.3對新圖像進行推斷313
10.2人體姿態檢測315
10.3人群計數316
10.4圖像著色325
10.5面向點雲的三維目標檢測330
10.5.1理論330
10.5.2訓練YOLO模型實現
三維目標檢測334
10.6小結337
第三部分圖像處理
第11章自編碼器與圖像處理340
11.1理解自編碼器340
11.2理解卷積自編碼器346
11.3理解變分自編碼器351
11.3.1VAE的工作機制352
11.3.2KL散度353
11.3.3構建VAE模型353
11.4圖像對抗性攻擊357
11.5圖像風格遷移360
11.6生成深度虛擬圖像366
11.7小結375
11.8課後習題375
第12章基於GAN的圖像生成376
12.1GAN模型簡介376
12.2使用GAN生成手寫數字378
12.3使用DCGAN生成人臉圖像383
12.4實現條件GAN模型391
12.5小結399
12.6課後習題400
第13章高級GAN圖像處理401
13.1使用Pix2Pix GAN模型401
13.2使用CycleGAN模型410
13.3在定制圖像上使用StyleGAN
模型418
13.4超分辨率GAN426
13.4.1架構427
13.4.2編碼SRGAN428
13.5小結429
13.6課後習題430
第四部分計算機視覺與其他技術
第14章使用小樣本進行模型訓練432
14.1實現零樣本學習432
14.2實現小樣本學習437
14.2.1構建Siamese網絡438
14.2.2原型網絡的工作細節444
14.2.3關繫網絡的工作細節445
14.3小結446
14.4課後習題446
第15章計算機視覺與NLP447
15.1RNN模型簡介447
15.1.1RNN架構的應用場景448
15.1.2探索RNN的結構449
15.1.3為什麼需要存儲記憶449
15.2LSTM架構簡介450
15.2.1LSTM的工作細節451
15.2.2使用PyTorch實現
LSTM453
15.3生成圖像標題453
15.4轉錄手寫圖像465
15.4.1CTC損失的工作細節466
15.4.2計算CTC損失值467
15.4.3手寫轉錄的代碼實現468
15.5使用DETR進行目標檢測476
15.5.1transformer的工作細節476
15.5.2DETR的工作細節479
15.5.3目標檢測的代碼實現482
15.6小結485
15.7課後習題485
第16章計算機視覺與強化學習486
16.1強化學習基礎知識486
16.1.1計算狀態價值487
16.1.2計算狀態–行為價值488
16.2實現Q學習489
16.2.1Q值489
16.2.2了解Gym環境490
16.2.3構建Q表491
16.2.4探索–利用機制493
16.3實現深度Q學習495
16.4目標固定的深度Q學習501
16.5實現自動駕駛智能體508
16.5.1安裝CARLA環境508
16.5.2訓練自動駕駛智能體511
16.6小結518
16.7課後習題519
第17章模型的實際應用部署520
17.1API基礎知識520
17.2在本地服務器上創建API並
進行預測521
17.2.1安裝API模塊和依賴項522
17.2.2圖像分類器的支持組件522
17.3將API部署到雲端525
17.3.1Docker鏡像與Docker
容器526
17.3.2創建Docker容器526
17.3.3在雲端發布並運行
Docker容器530
17.4小結535
第18章使用OpenCV實用程序
進行圖像分析536
18.1圖像中的單詞檢測536
18.2圖像中的車道線檢測542
18.3基於顏色的目標檢測544
18.4構建全景圖像546
18.5圖像中的車牌檢測550
18.6小結552
附錄課後習題答案554

Preface
前言
人工智能（AI）已經成為一股強大的力量，正在推動一些日常使用的現代應用程序的發展，正在以一種曾經隻存在於我們幻想中的方式重塑這個世界。人工智能曾經僅存在於少數實驗室，隸屬於計算機科學學科。然而，由於優秀理論的爆炸式發展、計算能力的提高和數據的可用性，該領域自2000年以來開始呈指數級增長，而且沒有任何放緩的跡像。
人工智能已經一次又一次地證明，隻要擁有正確的算法和足夠的數據，它就可以在有限的人工干預下自學任務，並產生與人類判斷相匹敵甚至有時超過人類判斷的結果。無論你是新手還是運營大型組織的老手，都有充分的理由去了解人工智能的工作原理。神經網絡是人工智能算法中最靈活的一類，已被廣泛應用於各個領域，包括結構化數據、文本和視覺領域。
本書從神經網絡的基礎開始講解，涵蓋了50多個計算機視覺方面的應用。首先，你將使用NumPy和PyTorch從頭開始構建神經網絡（NN），然後學習調整神經網絡超參數的最佳實踐。隨著學習的深入，你將學習CNN以及主要用於圖像分類的遷移學習技術，還將了解在構建NN模型時需要注意的實際問題。
接下來，你將學習多目標檢測、圖像分割，並使用R-CNN、Fast R-CNN、Faster R-CNN、SSD、YOLO、U-Net和Mask R-CNN架構等技術實現這些任務，還將學習使用Detectron2框架來簡化構建神經網絡的具體過程，這些神經網絡主要用於目標檢測和人體姿態估算。之後，你將實現三維目標檢測。
隨後，你將學習自編碼器和GAN，重點是圖像處理和生成。這裡將使用VAE、DCGAN、cGAN、Pix2Pix、CycleGAN、StyleGAN2、SRGAN和風格遷移來實現用於各種任務的圖像處理。
最後，學習將計算機視覺與其他技術相結合來解決傳統問題，包括將NLP和計算機視覺進行結合，執行OCR、圖像標題生成、用transformer進行目標檢測；通過結合強化學習和計算機視覺技術來實現汽車自動駕駛智能體；如何使用OpenCV庫將一個NN模型投入具體的生產過程，以及傳統的計算機視覺技術。
目標讀者
本書是為PyTorch初中級讀者準備的，目標是使讀者熟練掌握基於深度學習和PyTorch的計算機視覺技術。對於剛開始學習神經網絡的讀者而言，本書也很有用。閱讀本書需要具備Python編程語言和機器學習的基礎知識。
主要內容
第1章介紹神經網絡的工作原理。首先，你將學習與神經網絡相關的關鍵術語。然後，你將了解構建模塊的工作細節，並在一個小數據集上從頭開始構建神經網絡。
第2章介紹如何使用PyTorch。在學習使用PyTorch構建神經網絡模型的不同方法之前，你將了解創建和操作張量對像的方法。這裡仍將使用一個小數據集，以便你了解使用PyTorch的細節。
第3章結合前面兩章涉及的所有內容，幫助你理解各種神經網絡超參數對模型準確度的影響。在學完本章後，你將掌握如何在實際數據集上使用神經網絡。
第4章詳細介紹使用普通神經網絡面臨的挑戰，你將了解為何卷積神經網絡能克服傳統神經網絡的各種限制。你將深入了解CNN的工作細節，並了解其中的各種組件。然後，你將學習處理圖像的最佳實踐。本章將使用真實世界的圖像，並學習使用CNN實現復雜圖像分類的工作原理。
第5章介紹如何解決現實世界中的圖像分類問題。你將了解多種遷移學習架構，並了解它們是如何顯著提高圖像分類準確度的。然後，使用遷移學習實現人臉關鍵點檢測和對年齡、性別進行估計。
第6章提供在實際構建和部署圖像分類模型時需要注意的要點。實際上，你將看到在真實數據上進行數據增強和批歸一化的優點。此外，還將了解類激活映射為何有助於對CNN模型的預測結果進行解釋。學完本章後，你就可以解決大多數圖像分類問題，並利用前面討論的模型來處理定制的數據集。
第7章奠定目標檢測的基礎，你將學習用於構建目標檢測模型的各種技術。然後，通過一個案例了解基於區域建議的目標檢測技術，在這個案例中，你將實現一個用於定位圖像中卡車和公交車的模型。
第8章首先展示區域建議架構的局限性，介紹解決區域建議架構問題的更多高級架構的工作細節。我們將在相同的數據集（卡車與公交車的目標檢測）上實現所有的架構，這樣就可以對比每個架構的工作原理。
第9章建立在前幾章的基礎上，幫助你構建模型，以確定各種類別目標和目標實例在圖像中的位置和輪廓。我們將針對道路圖像和普通家庭圖像實現具體的應用。學完本章後，你將能夠通過使用PyTorch構建模型的方式解決關於圖像分類、目標檢測/分割的問題。
第10章總結前幾章的學習內容，用幾行代碼實現對目標的檢測和分割，通過構建模型來實現人群計數和圖像著色應用。最後，你還將了解如何在真實數據集上進行三維目標
檢測。
第11章為圖像修改奠定基礎。首先學習用於壓縮圖像和生成新圖像的自編碼器。然後學習欺騙模型的對抗性攻擊。之後實現圖像風格遷移。最後實現一個自編碼器來生成深度虛擬圖像。
第12章首先介紹GAN的工作原理，然後學習虛擬人臉圖像的生成技術以及如何使用GAN生成一些有趣的圖像。
第13章將圖像處理升級到一個新的水平。我們將實現一個GAN模型，用於將目標從一個類別轉換到另外一個類別，由草圖生成圖像，並操作定制圖像，以便生成特定風格的圖像。學完本章後，你就可以組合應用自編碼器和GAN進行圖像處理了。
第14章為你學習結合使用計算機視覺技術與其他技術奠定基礎。你將學習如何使用小樣本和零訓練樣本完成圖像分類。
第15章介紹各種自然語言處理技術的工作細節，如詞嵌入、LSTM和transformer，你將使用transformer實現一些應用程序，如圖像標題生成、OCR等。
第16章首先介紹強化學習術語和狀態價值。在學習深度Q學習的過程中，你將了解強化學習和神經網絡的結合使用方式。通過學習，你將實現一個玩Pong遊戲的智能體和一個用於汽車自動駕駛的智能體。
第17章介紹將模型部署到生產環境的最佳實踐。在將模型遷移到AWS公有雲之前，你將了解如何在本地服務器上部署模型。
第18章詳細介紹如何使用OpenCV實用程序創建5個有趣的應用程序。學完本章後，你將了解輔助深度學習的實用程序，以及在內存或推理速度有相當大限制的場景中可以替代深度學習的實用程序。
學習本書的軟硬件要求
本書覆蓋的軟硬件 操作繫統要求
存儲空間最低128GB
內存最低8GB
Intel i5 或更高的處理器
NVIDIA 8 GB以上顯卡——GTX1070或更好的顯卡
網速最低50Mbit/s Windows、Linux和macOS
Python 3.6及更高版本 Windows、Linux和macOS
PyTorch 1.7 Windows、Linux和macOS
Google Colab（可在任何瀏覽器上運行） Windows、Linux和macOS

請注意，本書中幾乎所有的代碼都可以使用Google Colab運行，通過單擊GitHub 各章notebook中的Open in Colab按鈕即可實現。
下載示例代碼
可以從GitHub上下載本書的示例代碼文件，地址是https://github.com/PacktPublishing/Modern-Computer-Vision-with-PyTorch。代碼的更新將會提交到GitHub。
下載彩色圖像
我們還提供了一個PDF文件，其中有本書中使用的屏幕截圖或圖表的彩色圖像，你可以從https://static.packt-cdn.com/downloads/9781839213472_ColorImages.pdf下載。