"視覺雙雄，隆重出版！《深入理解計算機視覺：關鍵算法解析與深度神經網絡設計》+《深入理解計算機視覺：在邊緣端構建高效的目標檢測應用》凝聚作者半生心血，內含實用專利技術真正的從實戰中來，到培訓中去，再進入實戰跟著學習，就能學會計算機視覺應用構建的思路、方法、技巧本書是對計算機視覺技術的“抽絲剝繭”兼具理論與實踐采用了“理論+代碼+數據流圖”寫作方式★理論有利於讀者建立知識的深度★代碼有利於讀者培養動手能力★數據流圖有利於讀者快速領會算法原理幫助讀者在建立等

●第1篇一階段目標檢測神經網絡的結構設計
第1章目標檢測的競賽和數據集2
1.1 計算機視覺坐標繫的約定和概念2
1.1.1圖像的坐標繫約定2
1.1.2矩形框的描述方法約定3
1.2 PASCALVOC競賽和數據集6
1.2.1PASCALVOC競賽任務和數據集簡介6
1.2.2PASCALVOC2007數據集探索8
1.3 MSCOCO挑戰賽和數據集14
1.3.1MSCOCO挑戰賽的競賽任務14
1.3.2MSCOCO數據集簡介17
1.4 目標檢測標注的解析和統計18
1.4.1XML文件的格式18
1.4.2XML文件解析和數據均衡性統計20
第2章目標檢測神經網絡綜述24
2.1 幾個有名的目標檢測神經網絡24
2.1.1R-CNN家族神經網絡簡介25
2.1.2YOLO和SSD神經網絡簡介28
2.1.3CenterNet神經網絡簡介30
2.1.4U-Net神經網絡簡介31
2.2 目標檢測神經網絡分類和高階API資源32
2.3 矩形框的交並比評價指標和實現34
第3章一階段目標檢測神經網絡的特征融合和中段網絡40
3.1 一階段目標檢測神經網絡的整體結構40
3.2 一階段目標檢測神經網絡的若干中段網絡介紹41
3.2.1單向融合的中段網絡41
3.2.2簡單雙向融合的中段網絡43
3.2.3復雜雙向融合的中段網絡45
3.3 不同融合方案中段網絡的關繫和應用46
3.4YOLO的多尺度特征融合中段網絡案例47
3.4.1YOLOV3的中段網絡及實現48
3.4.2YOLOV4的中段網絡PANet及實現52
3.4.3YOLOV3-tiny和YOLOV4-tiny版本的中段網絡及實現58
3.5神經網絡輸出的解碼62
3.5.1融合特征圖的幾何含義62
3.5.2矩形框中心點坐標的解碼65
3.5.3矩形框寬度和高度的解碼67
3.5.4前背景概率和分類概率的解碼69
3.5.5矩形框角點坐標和解碼函數整體輸出70
第4章一階段目標檢測神經網絡典型案例――YOLO解析73
4.1 YOLO家族目標檢測神經網絡簡介73
4.2 先驗錨框和YOLO神經網絡的檢測思路74
4.2.1用人為設定方式找到的先驗錨框74
4.2.2用聚類回歸方式找到的先驗錨框76
4.2.3YOLO的先驗錨框編號79
4.2.4YOLO的XYSCALE和縮放比參數81
4.3 建立YOLO神經網絡82
4.3.1根據選擇確定YOLO神經網絡參數83
4.3.2建立骨干網絡、中段網絡和預測網絡84
4.3.3加上解碼網絡後建立完整的YOLO模型86
4.4 YOLO神經網絡的遷移學習和權重加載89
4.4.1骨干網絡關鍵層的起止編號89
4.4.2中段網絡和預測網絡關鍵層的起止編號93
4.4.3YOLO模型的權重加載100
4.5 原版YOLO模型的預測107
4.5.1原版YOLO模型的建立和參數加載107
4.5.2神經網絡的輸入/輸出數據重組108
4.6 NMS算法的原理和預測結果可視化111
4.6.1傳統NMS算法原理112
4.6.2NMS算法的變種116
4.6.3預測結果的篩選和可視化121
4.7 YOLO模型的多個衍生變種簡介124
4.8 YOLO模型的發展與展望127
第2篇YOLO神經網絡的損失函數和訓練
第5章將數據資源制作成標準TFRecord數據集文件130
5.1 數據資源的加載130
5.2 數據資源的解析和提取135
5.3 TFRecord數據集文件的制作139
5.4 單樣本的example對像制作139
5.5 遍歷全部樣本制作完整數據集144
5.6 從數據集提取樣本進行核對145
第6章數據集的後續處理150
6.1 數據集的加載和打包150
6.1.1數據集的加載和矩陣化150
6.1.2圖像矩陣尺寸的標準化153
6.1.3真實矩形框標注矩陣尺寸的標準化158
6.1.4數據集的打包處理159
6.2 將原始數據集打包為可計算數據集163
6.2.1計算真實矩形框與先驗錨框的匹配度排名164
6.2.2找到真實矩形框所對應的網格下的先驗錨框169
6.2.3可計算數據集測試177
第7章一階段目標檢測的損失函數的設計和實現181
7.1 損失函數框架和輸入數據的合理性判別182
7.2 真實數據和預測數據的對應和分解184
7.3 預測矩形框的前背景歸類和權重分配188
7.4 預測矩形框的誤差度量192
7.4.1用中心點表示的位置誤差192
7.4.2用寬度和高度表示的位置誤差192
7.4.3用通用交並比表示的矩形框誤差194
7.4.4用距離交並比表示的矩形框誤差198
7.4.5用完整交並比表示的矩形框誤差200
7.4.6用交並比量化矩形框預測誤差的實踐206
7.5 前景和背景的預測誤差208
7.5.1前景誤差和背景誤差的定義208
7.5.2樣本均衡原理和Focal-Loss應用209
7.6 分類預測誤差212
7.7 總誤差的合並和數值合理性確認213
第8章YOLO神經網絡的訓練217
8.1 數據集和模型準備217
8.1.1參數配置217
8.1.2數據集預處理220
8.1.3模型參數加載和凍結223
8.2 動態模式訓練225
8.2.1監控指標的設計和日志存儲225
8.2.2動態模式下神經網絡的訓練和調試230
8.3 訓練中非法數值的監控和調試237
8.3.1發現和監控非法數值計算結果237
8.3.2計算結果出現非法數值的原因和對策240
8.4 靜態模式訓練和TensorBoard監控244
第3篇目標檢測神經網絡的雲端和邊緣端部署
第9章一階段目標檢測神經網絡的雲端訓練和部署250
9.1 一階段目標檢測神經網絡的推理模型設計250
9.1.1一階段目標檢測神經網絡的推理形態250
9.1.2推理場景下的數據重組網絡251
9.1.3構造推理場景下的YOLO模型函數254
9.1.4構造和測試YOLO推理模型255
9.2 目標檢測推理模型的雲端部署256
9.2.1亞馬遜EC2雲計算實例選型257
9.2.2使用雲端服務器部署模型並響應推理請求257
9.3 在亞馬遜SageMakerStudio上訓練雲計算模型259
第10章神經網絡的INT8全整數量化原理262
10.1 神經網絡量化模型的基本概念262
10.1.1神經網絡量化模型速覽和可視化262
10.1.2浮點數值的量化存儲和計算原理268
10.2 神經網絡量化模型的制作和分析273
10.2.1算子的映射和合並273
10.2.2量化參數搜索和代表數據集276
10.2.3TFLite量化模型的算子和張量分析279
10.3 量化性能分析和量化模型的逐層調試289
10.3.1量化信噪比分析原理289
10.3.2量化模型的單層誤差調試294
10.3.3量化模型的誤差累積調試296
10.4 不支持算子的替換技巧300
10.4.1大動態範圍非線性算子替換原理301
10.4.2大動態範圍非線性算子替換效果303
第11章以YOLO和EdgeTPU為例的邊緣計算實戰305
11.1 TensorFlow模型的量化307
11.1.1量化感知訓練獲得INT8整型模型308
11.1.2訓練後量化獲得INT8整型模型313
11.2 神經網絡模型的編譯315
11.2.1模型編譯的工作原理315
11.2.2在EdgeTPU上部署模型的注意事項318
11.3 YOLO目標檢測模型的量化和編譯321
11.3.1YOLO變種版本選擇和骨干網絡修改321
11.3.2針對硬件進行解碼網絡的修改322
11.3.3預測矩陣的彙總重組325
11.3.4YOLO推理模型的建立327
11.3.5YOLO模型的量化329
11.3.6量化模型的測試和信噪比分析331
11.4 YOLO量化模型的編譯和邊緣端部署337
11.4.1量化模型轉換為編譯模型337
11.4.2編寫邊緣端編譯模型推理代碼341
第4篇個性化數據增強和目標檢測神經網絡性能測試
第12章個性化目標檢測數據集處理346
12.1 農村公路占道數據的目標檢測應用346
12.1.1項目數據背景346
12.1.2數據的預處理347
12.2 數據的增強350
12.2.1數據增強技術的概念和效果350
12.2.2基於空間變換的數據增強方法351
12.2.3基於顏色空間的數據增強方法354
12.2.4其他圖像數據的增強手法357
12.2.5圖像數據集的增強工具和探索工具360
12.3 使用Albumentations進行數據增強361
12.3.1Albumentations的安裝和使用361
12.3.2幾何數據增強管道的配置362
12.3.3使用數據管道處理並保存數據364
12.3.4像素數據增強管道的配置366
12.3.5增強數據集的運用367
第13章模型性能的定量測試和決策閾值選擇368
13.1 神經網絡性能量化的基本概念368
13.1.1神經網絡預測的混淆矩陣368
13.1.2神經網絡量化評估和P-R曲線369
13.1.3多分類目標檢測場景和平均準確率均值371
13.1.4F分數評估方法372
13.2 餐盤識別神經網絡性能測試案例373
13.2.1項目背景373
13.2.2提取全部真實數據和預測結果375
13.2.3模擬不同決策閾值下的準確率和召回率378
第14章使用邊緣計算網關進行多路攝像頭目標檢測385
14.1 邊緣計算網關的整體結構385
14.1.1核心TPU組件385
14.1.2計算卡和模組386
14.1.3下位機的操作繫統387
14.1.4下位機的開發環境簡介388
14.2 開發環境準備392
14.2.1上位機安裝Docker392
14.2.2上位機裝載鏡像和SDK開發包393
14.2.3神經網絡工具鏈和主要用途397
14.2.4針對TensorFlow模型的編譯方法398
14.3 浮點32位模型部署的全流程399
14.3.1訓練主機將Keras模型轉換為單pb模型文件399
14.3.2上位機將單pb模型文件編譯為bmodel模型文件400
14.3.3下位機讀取和探索bmodel模型文件402
14.3.4下位機使用bmodel模型文件進行推理406
14.4 邊緣端全整數量化模型部署410
14.4.1在上位機Docker內制作代表數據集410
14.4.2在上位機Docker內生成fp32umodel模型文件412
14.4.3手動增加fp32umodel模型文件的輸入層映射算子414
14.4.4對fp32umodel模型文件進行優化415
14.4.5在上位機Docker內將fp32umodel模型文件編譯為int8umodel模型文件416
14.4.6umodel模型文件的調試技巧418
14.5 模型的編譯和部署419
14.5.1上位機將int8umodel模型文件編譯為bmodel模型文件419
14.5.2全整數量化int8bmodel模型文件的邊緣端推導和測試422
14.5.3編譯模型在邊緣計算網關上的性能測試423
第15章邊緣計算開發繫統和RK3588427
15.1 RK3588邊緣推理開發繫統結構427
15.1.1開發板和核心芯片架構427
15.1.2開發板操作繫統和調試環境429
15.2 開發工具鏈和神經網絡模型部署431
15.2.1上位機開發環境配置431
15.2.2上位機的模型轉換433
15.2.3下位機使用編譯模型進行推理439
15.2.4RK3588的算子調試技巧443
第5篇三維計算機視覺與自動駕駛
第16章三維目標檢測和自動駕駛448
16.1 自動駕駛數據集簡介448
16.2 KITTI數據集計算原理450
16.3 自動駕駛的點雲特征提取461
附錄A官方代碼引用說明469
附錄B本書運行環境搭建說明471
附錄CTensorFlow矩陣基本操作473
參考文獻474

本書按實戰項目研發的先後順序，介紹了目標檢測神經網絡從研發到運營的全生命周期。首先介紹了目標檢測場景下的圖片標注方法和數據格式，以及與之密切相關的特征融合網絡和預測網絡；介紹了數據"後處理”所涉及的NMS算法及其變種，在此基礎上，讀者隻需結合各式各樣的骨干網絡就可以搭建完整的一階段目標檢測神經網絡模型。接下來介紹了神經網絡的動態模式和靜態模式兩種訓練方法，以及訓練過程中的數據監控和異常處理。最後以亞馬遜雲和谷歌Coral開發板為例，介紹了雲端部署和邊緣端部署神經網絡的兩種部署方法。其中，對於邊緣端部署，本書還詳細介紹了神經網絡量化模型的基礎原理和模型編譯邏輯，這對將神經網絡轉化為可獨立交付的產品至關重要。本書還結合智慧交通、智慧後勤、自動駕駛等項目，介紹了計算機視覺數據增強技術和神經網絡性能評估原理，以及邊緣計算網關、邊緣計算繫統、自動駕駛數據的計算原理和PointNet++等多個三維目標等

張晨然 著