第1章深度學習基礎/1
1.1人工智能概述1
1.1.1人工智能在各領域中的應用1
1.1.2人工智能、機器學習和深度學習3
1.2深度學習的基本原理5
1.2.5
1.2.2人工神經網絡8
1.2.3反向傳播算法11
1.2.4神經網絡的數據結構——張量18
1.3卷積神經網絡18
1.3.1卷積層19
1.3.2池化層21
1.3.3歸一化層21
1.3.4全連接層22
1.3.5Softmax函數22
1.3.6損失函數23
1.3.7卷積神經網絡的特點24
1.3.8卷積神經網絡的發展25
1.4遷移學習26
1.5模型訓練超參數27
1.6深度學習在計算機視覺中的典型應用28
1.7數據集29
1.7.1數據集的劃分30
1.7.2數據集的預處理30
1.7.3數據集的標注33
1.7.4常用數據集35
1.8深度學習框架47
1.9深度學習的計算特點47
第2章深度學習的計算平臺/49
2.1神經網絡計算加速芯片512.1.1神經網絡的計算特點51
2.1.2神經網絡的計算芯片52
2.2TPU架構與原理54
2.2.1谷歌TPU架構與原理56
2.2.2算能TPU架構與原理61
2.3算能TPU硬件架構及產品形態63
2.3.1算能TPU的芯片硬件架構63
2.3.2算能TPU的產品形態65
2.4算能TPU軟件架構65
2.4.1實時視頻流處理方案66
2.4.2深度學習軟件開發工具包67
2.4.3離線模型轉換68
2.4.4在線模型推理69
2.4.5自定義算子69
2.4.6模型量化加速70
2.4.7高級接口編程庫70
〖1〗深度學習算法與實踐目錄〖3〗〖3〗第3章深度學習編程環境操作基礎/72
3.1Linux入門72
3.1.1Linux繫統的安裝簡介72
3.1.2Linux繫統的常用命令73
3.1.3Linux的文本編輯器75
3.2Python入門75
3.2.1Python環境的安裝和使用75
3.2.2PyCharm集成開發環境的安裝和使用76
3.2.3常用Python庫79
3.2.4Python虛擬環境79
3.3TensorFlow入門81
3.3.1TensorFlow的安裝81
3.3.2TensorFlow的基本操作82
3.3.3使用TensorFlow實現手寫數字識別85
3.4PyTorch入門87
3.4.1PyTorch的安裝87
3.4.2PyTorch的基本操作88
3.4.3使用PyTorch實現手寫數字識別89
3.5SE5平臺開發環境92
3.5.1SE5應用繫統開發的硬件環境92
3.5.2SE5應用繫統開發的軟件環境93
第4章圖像分類/96
4.1圖像分類任務介紹96
4.2典型分類網絡解析97
4.2.1LeNet5手寫數字識別神經網絡97
4.2.2AlexNet圖像分類網絡99
4.2.3VGGNet圖像分類網絡102
4.2.4GoogLeNet圖像分類網絡106
4.2.5ResNet殘差圖像分類網絡110
4.2.6DenseNet密集連接卷積網絡115
4.2.7SENet壓縮激勵圖像分類網絡119
4.3實踐項目一： 基於LeNet5神經網絡的手寫數字識別120
4.3.1實踐項目內容120
4.3.2微調的LeNet5網絡結構121
4.3.3TensorFlow 2.x框架下程序實現122
4.3.4LeNet5模型訓練和測試過程125
4.3.5LeNet5網絡模型在SE5上的部署125
4.4實踐項目二： 基於ResNet神經網絡的貓狗分類130
4.4.1實踐項目內容130
4.4.2Dogs vs. Cats數據集簡介130
4.4.3ResNet18網絡結構130
4.4.4PyTorch框架下程序實現132
4.4.5ResNet18模型訓練和測試過程136
4.4.6ResNet18網絡模型在SE5上的部署137
第5章目標檢測/142
5.1目標檢測任務介紹142
5.1.1目標檢測任務142
5.1.2預備知識143
5.1.3評估準則147
5.2兩階段目標檢測算法150
5.2.1RCNN150
5.2.2Fast RCNN151
5.2.3Faster RCNN152
5.3單階段目標檢測算法160
5.3.1YOLOv1160
5.3.2YOLOv2165
5.3.3YOLOv3172
5.3.4YOLOv4175
5.3.5YOLOv5180
5.3.6FCOS185
5.3.7DETR188
5.4實踐項目： 基於YOLOv5s的目標檢測190
5.4.1實踐項目內容190
5.4.2YOLOv5s網絡結構190
5.4.3PyTorch框架下程序實現190
5.4.4YOLOv5s網絡模型訓練和測試過程196
5.4.5YOLOv5s網絡模型在SE5上的部署197
第6章語義分割/200
6.1語義分割任務介紹200
6.1.1語義分割任務200
6.1.2預備知識200
6.1.3評估準則201
6.2典型語義分割網絡203
6.2.1FCN203
6.2.2UNet205
6.2.3SegNet206
6.2.4PSPNet208
6.2.5ICNet210
6.2.6DeepLab繫列214
6.3實踐項目： 基於ICNet的語義分割217
6.3.1實踐項目內容217
6.3.2數據集217
6.3.3ICNet網絡結構218
6.3.4TensorFlow框架下程序實現218
6.3.5ICNet網絡模型訓練和測試過程226
6.3.6ICNet網絡模型在SE5上的部署227
第7章實例分割/230
7.1實例分割任務介紹230
7.1.1實例分割任務230
7.1.2評估準則230
7.2典型實例分割網絡231
7.2.1Mask RCNN231
7.2.2YOLACT與YOLACT 237
7.2.3SOLO和SOLOv2243
7.3實踐項目： 基於Mask RCNN的實例分割251
7.3.1實踐項目內容251
7.3.2Mask RCNN網絡結構251
7.3.3TensorFlow框架下程序實現251
7.3.4Mask RCNN網絡測試過程256
7.3.5Mask RCNN網絡模型在SE5上的部署256
第8章人臉檢測與識別/258
8.1人臉檢測與識別任務介紹258
8.1.1人臉檢測與識別及其應用258
8.1.2人臉識別繫統構成258
8.1.3常用數據集介紹259
8.1.4評估準則260
8.2人臉檢測網絡262
8.2.1MTCNN人臉檢測網絡262
8.2.2RetinaFace人臉檢測網絡264
8.3人臉對齊268
8.4人臉特征提取網絡269
8.4.1人臉特征提取網絡原理269
8.4.2FaceNet272
8.4.3ArcFace/InsightFace275
8.5實踐項目一： 基於PC的MTCNN ArcFace實時人臉檢測和識別281
8.5.1實踐項目內容281
8.5.2PyTorch框架下程序實現281
8.5.3人臉識別繫統測試290
8.6實踐項目二： 基於SE5的RetinaFace FaceNet實時人臉檢測和識別291
8.6.1實踐項目內容291
8.6.2繫統方案291
8.6.3PyTorch框架下程序實現292
8.6.4人臉識別繫統測試297
第9章循環神經網絡/299
9.1循環神經網絡原理299
9.1.1循環神經網絡299
9.1.2長短期記憶網絡301
9.1.3門控網絡302
9.1.4雙向循環神經網絡303
9.2實踐項目： 基於LSTM的股票預測304
9.2.1實踐項目內容304
9.2.2數據集304
9.2.3股票預測方法304
9.2.4TensorFlow框架下程序實現306
9.2.5LSTM網絡模型訓練和測試過程311
9.2.6LSTM網絡模型在SE5上的部署312
參考文獻/3151.1人工智能概述1
1.1.1人工智能在各領域中的應用1
1.1.2人工智能、機器學習和深度學習3
1.2深度學習的基本原理5
1.2.5
1.2.2人工神經網絡8
1.2.3反向傳播算法11
1.2.4神經網絡的數據結構——張量18
1.3卷積神經網絡18
1.3.1卷積層19
1.3.2池化層21
1.3.3歸一化層21
1.3.4全連接層22
1.3.5Softmax函數22
1.3.6損失函數23
1.3.7卷積神經網絡的特點24
1.3.8卷積神經網絡的發展25
1.4遷移學習26
1.5模型訓練超參數27
1.6深度學習在計算機視覺中的典型應用28
1.7數據集29
1.7.1數據集的劃分30
1.7.2數據集的預處理30
1.7.3數據集的標注33
1.7.4常用數據集35
1.8深度學習框架47
1.9深度學習的計算特點47
第2章深度學習的計算平臺/49
2.1神經網絡計算加速芯片512.1.1神經網絡的計算特點51
2.1.2神經網絡的計算芯片52
2.2TPU架構與原理54
2.2.1谷歌TPU架構與原理56
2.2.2算能TPU架構與原理61
2.3算能TPU硬件架構及產品形態63
2.3.1算能TPU的芯片硬件架構63
2.3.2算能TPU的產品形態65
2.4算能TPU軟件架構65
2.4.1實時視頻流處理方案66
2.4.2深度學習軟件開發工具包67
2.4.3離線模型轉換68
2.4.4在線模型推理69
2.4.5自定義算子69
2.4.6模型量化加速70
2.4.7高級接口編程庫70
〖1〗深度學習算法與實踐目錄〖3〗〖3〗第3章深度學習編程環境操作基礎/72
3.1Linux入門72
3.1.1Linux繫統的安裝簡介72
3.1.2Linux繫統的常用命令73
3.1.3Linux的文本編輯器75
3.2Python入門75
3.2.1Python環境的安裝和使用75
3.2.2PyCharm集成開發環境的安裝和使用76
3.2.3常用Python庫79
3.2.4Python虛擬環境79
3.3TensorFlow入門81
3.3.1TensorFlow的安裝81
3.3.2TensorFlow的基本操作82
3.3.3使用TensorFlow實現手寫數字識別85
3.4PyTorch入門87
3.4.1PyTorch的安裝87
3.4.2PyTorch的基本操作88
3.4.3使用PyTorch實現手寫數字識別89
3.5SE5平臺開發環境92
3.5.1SE5應用繫統開發的硬件環境92
3.5.2SE5應用繫統開發的軟件環境93
第4章圖像分類/96
4.1圖像分類任務介紹96
4.2典型分類網絡解析97
4.2.1LeNet5手寫數字識別神經網絡97
4.2.2AlexNet圖像分類網絡99
4.2.3VGGNet圖像分類網絡102
4.2.4GoogLeNet圖像分類網絡106
4.2.5ResNet殘差圖像分類網絡110
4.2.6DenseNet密集連接卷積網絡115
4.2.7SENet壓縮激勵圖像分類網絡118
4.3實踐項目一： 基於LeNet5神經網絡的手寫數字識別120
4.3.1實踐項目內容120
4.3.2微調的LeNet5網絡結構121
4.3.3TensorFlow 2.x框架下程序實現121
4.3.4LeNet5模型訓練和測試過程124
4.3.5LeNet5網絡模型在SE5上的部署125
4.4實踐項目二： 基於ResNet神經網絡的貓狗分類129
4.4.1實踐項目內容129
4.4.2Dogs vs. Cats數據集簡介129
4.4.3ResNet18網絡結構130
4.4.4PyTorch框架下程序實現131
4.4.5ResNet18模型訓練和測試過程135
4.4.6ResNet18網絡模型在SE5上的部署136
第5章目標檢測/141
5.1目標檢測任務介紹141
5.1.1目標檢測任務141
5.1.2預備知識142
5.1.3評估準則146
5.2兩階段目標檢測算法149
5.2.1RCNN149
5.2.2Fast RCNN150
5.2.3Faster RCNN151
5.3單階段目標檢測算法159
5.3.1YOLOv1159
5.3.2YOLOv2164
5.3.3YOLOv3171
5.3.4YOLOv4174
5.3.5YOLOv5179
5.3.6FCOS184
5.3.7DETR188
5.4實踐項目： 基於YOLOv5s的目標檢測189
5.4.1實踐項目內容189
5.4.2YOLOv5s網絡結構190
5.4.3PyTorch框架下程序實現191
5.4.4YOLOv5s網絡模型訓練和測試過程195
5.4.5YOLOv5s網絡模型在SE5上的部署197
第6章語義分割/200
6.1語義分割任務介紹200
6.1.1語義分割任務200
6.1.2預備知識200
6.1.3評估準則201
6.2典型語義分割網絡203
6.2.1FCN203
6.2.2UNet205
6.2.3SegNet206
6.2.4PSPNet207
6.2.5ICNet210
6.2.6DeepLab繫列214
6.3實踐項目： 基於ICNet的語義分割217
6.3.1實踐項目內容217
6.3.2數據集217
6.3.3ICNet網絡結構218
6.3.4TensorFlow框架下程序實現218
6.3.5ICNet網絡模型訓練和測試過程226
6.3.6ICNet網絡模型在SE5上的部署227
第7章實例分割/230
7.1實例分割任務介紹230
7.1.1實例分割任務230
7.1.2評估準則230
7.2典型實例分割網絡231
7.2.1Mask RCNN231
7.2.2YOLACT與YOLACT 237
7.2.3SOLO和SOLOv2243
7.3實踐項目： 基於Mask RCNN的實例分割251
7.3.1實踐項目內容251
7.3.2Mask RCNN網絡結構251
7.3.3TensorFlow框架下程序實現251
7.3.4Mask RCNN網絡測試過程256
7.3.5Mask RCNN網絡模型在SE5上的部署256
第8章人臉檢測與識別/258
8.1人臉檢測與識別任務介紹258
8.1.1人臉檢測與識別及其應用258
8.1.2人臉識別繫統構成258
8.1.3常用數據集介紹259
8.1.4評估準則260
8.2人臉檢測網絡262
8.2.1MTCNN人臉檢測網絡262
8.2.2RetinaFace人臉檢測網絡264
8.3人臉對齊268
8.4人臉特征提取網絡269
8.4.1人臉特征提取網絡原理269
8.4.2FaceNet272
8.4.3ArcFace/InsightFace275
8.5實踐項目一： 基於PC的MTCNN ArcFace實時人臉檢測和識別281
8.5.1實踐項目內容281
8.5.2PyTorch框架下程序實現281
8.5.3人臉識別繫統測試290
8.6實踐項目二： 基於SE5的RetinaFace FaceNet實時人臉檢測和識別291
8.6.1實踐項目內容291
8.6.2繫統方案291
8.6.3PyTorch框架下程序實現292
8.6.4人臉識別繫統測試297
第9章循環神經網絡/299
9.1循環神經網絡原理299
9.1.1循環神經網絡299
9.1.2長短期記憶網絡301
9.1.3門控網絡302
9.1.4雙向循環神經網絡303
9.2實踐項目： 基於LSTM的股票預測304
9.2.1實踐項目內容304
9.2.2數據集304
9.2.3股票預測方法304
9.2.4TensorFlow框架下程序實現306
9.2.5LSTM網絡模型訓練和測試過程311
9.2.6LSTM網絡模型在SE5上的部署312
參考文獻/315

近十年來，深度學習推動了人工智能（AI）技術的迅猛發展。深度學習的學術研究領域就像一條條短跑賽道，優秀的網絡模型、數據集、算力設備不斷湧現，你追我趕。常常是一個性能不錯的學術成果推出之後，不久就會有另一個新的成果大幅超越前者的性能。在學術界的快速突破和產業界旺盛的商業需求推動下，深度學習很快應用到了自動駕駛、無人機、互聯網搜索、手機、智慧城市等各個領域。隨之而來的是對AI領域人力資源的需求大大增加，人纔競爭激烈。很多院校都開設了人工智能或深度學習等課程，還有很多理工科背景的工程技術人員也希望通過自學進入人工智能領域。無論是院校教學還是企業培訓、個人發展，都需要能夠貼近實際的人工智能書籍，以滿足教學和自學的需要。
深度學習是一個知識體繫，涵蓋了數學、算法、工具、編程等多方面的內容，令許多初學者“望而生畏”。關於深度學習的論文、代碼、書籍、網站、博客、視頻等資料非常之多，許多初學者面對如此浩瀚的資源感覺無從下手。學習深度學習的最佳途徑是閱讀網絡的經典論文及其代碼，並進行動手實踐。然而，許多初學者讀不懂論文和代碼，往往陷入“代碼跑不通”或“隻跑了代碼但看不懂”的困境。
本書作者深感於以上問題，在給研究生開設的計算機視覺及深度學習相關課程的基礎上編寫了這本書。我們將帶領讀者學習深度學習的關鍵知識點和實操工具，學習圖像分類、目標檢測、語義/實例分割等主題任務中的經典神經網絡知識，並以項目實踐的形式，一步步帶領讀者感受和領略深度學習的魅力。
本書面向初學者，在全書知識點的選擇上不追求大而全，而是選擇最關鍵和最常用的一些知識點並期望把它們講解透徹，以滿足深度學習的入門需求。本書的預備知識僅限於線性代數、微積分、概率等最基本概念，對讀者知識背景要求較低。
本書的每個主題任務章節都可概括為任務的基本知識、神經網絡算法解析和實踐項目3個部分。基本知識部分講解任務的基本概念、神經網絡算法的發展及預備知識。在神經網絡算法解析部分，以時間為主線，講解經典神經網絡的發展和創新，循序漸進地引導讀者，避免搭建“空中樓閣”，避免學習過程中的“知其然而不知其所以然”。例如，在第4章圖像分類中，從最早的LeNet5手寫數字識別神經網絡講起，介紹神經網絡不斷改進和優化的過程，一直到後期性能卓越的ResNet、SENet等。在學習中了解先行者的原創性思路和方法，對於我們在今後的學習和工作中借鋻前人思路、解決自己的問題、設計自己的神經網絡是非常有幫助的。實踐項目部分選擇較為常用的神經網絡算法，提供了完整的程序源代碼，並對主要內容加以解析和詳細的實踐步驟指導。讀者可通過實踐部分掌握深度學習項目的環境搭建，以及神經網絡模型的訓練、測試和部署。
深度神經網絡的訓練和部署應用需要強大的計算能力（算力）支持。當前，研究者和開發者通常使用CPU GPU的計算平臺進行神經網絡的訓練和測試，而應用部署則可以在低成本、低功耗、小體積、高算力的TPU設備上實現。TPU是2016年美國谷歌公司推出的ASIC芯片，專用於深度神經網絡加速計算。國內華為、寒武紀等公司也緊跟其後，加大發展TPU的力度。算能公司至2022年已經發展到第5代自主知識產權的TPU芯片。本書第2章介紹了谷歌和算能的TPU架構原理，第4～9章提供了基於算能SE5 TPU平臺的算法部署實踐。
我們期望本書能夠助力讀者掌握前沿AI算法及前沿AI算力設備，助力廣大讀者抓住人工智能發展機遇，促進人工智能技術更深遠廣泛的科技創新和場景落地。
本書由郝曉莉總體策劃、組織和撰寫。第1章由郝曉莉和王昌利完成。第2章由胡雨、李岑撰寫初稿，王昌利和郝曉莉修改完成。第3章由郝曉莉、楊建、景輝完成，李丹、籐若予、王學卿、江潔參與了本章的編寫工作。第4章由郝曉莉、侯亞麗、王昌利完成，凌峰、常天星參與了本章實踐項目的開發。第5章由王昌利、侯亞麗、郝曉莉完成，常天星、姚昊江、籐若予參與了本章實踐項目的開發。第6章由郝曉莉、王昌利完成，劉爽和楊玉源參與了本章的編寫工作。第7章由郝曉莉、侯亞麗、王昌利完成，常天星進行了本章實踐項目的開發。第8章由王昌利、景輝、郝曉莉完成。第9章由郝曉莉、王昌利、楊健完成。申艷在課程開展和寫書過程中提供了許多支持。
感謝學生們對本書實驗案例做出的貢獻。凌峰、劉爽開發了最初版的PC端實驗案例及SE3端的算法移植，楊建、劉爽、常天星、江潔在課程的SE3實驗平臺搭建、調試和答疑中發揮了很大作用。常天星、楊建進一步開發並完善了實驗案例及SE5端的算法移植，樊志興、籐若予、李丹參與了所有PC端和SE5端實驗的完善和驗證。
感謝算能公司的大力支持，讓我們得以為廣大讀者提供深度學習算法在前沿AI算力設備的部署實踐指導。李賀、鄭偉、張紫祥、王智慧、湯煒煒、陳昊、餘良凱等對開設SE3實驗提供了支持，趙紅愛、張晨郦、李清、蔣國躍對本書的寫作給予了支持，郭尚霖等對SE5實驗給予了技術支持並提供了有益的建議。
感謝本書的編輯龍啟銘老師，龍老師給予的建議總是簡潔、明確而且富有建設性。
本書難免存在一些錯誤，歡迎廣大讀者批評指正。在本書的編寫過程中，參考了大量的論文、書籍和網絡資料，在此感謝這些作者們的無私奉獻。如果本書在參考文獻中遺漏了您的成果，請聯繫本書作者予以更正。

編者
2023年1月