前言
第1章深度學習基礎1
1.1深度學習的現實應用2
1.1.1計算機視覺2
1.1.2自然語言處理2
1.1.3推薦繫統3
1.1.4語音處理3
1.1.5其他領域3
1.2回歸問題和分類問題4
1.2.1線性回歸5
1.2.2Softmax分類6
1.3梯度下降算法8
1.3.1優化算法概述8
1.3.2隨機梯度下降算法10
1.3.3小批量梯度下降算法13
1.3.4Momentum梯度下降
算法14
1.3.5Adam優化算法15
1.4神經網絡16
1.4.1神經網絡的表示16
1.4.2激活函數及其導數19
1.4.3前向傳播和反向傳播23
1.4.4神經網絡的梯度下降26
1.5本章小結27
第2章卷積神經網絡28
2.1卷積基礎知識28
2.1.1卷積操作29
2.1.2池化33
2.1.3卷積的變種34
2.2深度卷積神經網絡37
2.2.1卷積神經網絡的整體
結構37
2.2.2殘差結構和1×1卷積38
2.2.3經典卷積網絡41
2.3卷積神經網絡的應用44
2.3.1圖像分類44
2.3.2目標檢測45
2.3.3其他應用49
2.4本章小結49
第3章循環神經網絡50
3.1深度循環神經網絡50
3.1.1循環神經網絡概述51
3.1.2基於時間的反向傳播52
3.1.3循環神經網絡的長期依賴
問題54
3.2循環神經網絡變體55
3.2.1長短時記憶網絡55
3.2.2門控循環神經網絡60
3.3序列模型和注意力機制61
3.3.1Seq2Seq序列模型62
3.3.2注意力機制64
3.3.3Transformer結構69
3.4循環神經網絡的應用74
3.4.1自然語言處理74
3.4.2語音識別84
3.4.3喚醒詞檢測87
3.5本章小結88
第4章深度神經網絡的訓練90
4.1深度學習的學習策略90
4.1.1數據集劃分和評估指標90
4.1.2偏差、方差和誤差94
4.1.3神經網絡的權重初始化95
4.2深度學習的訓練技巧96
4.2.1梯度消失和梯度爆炸96
4.2.2正則化和隨機失活97
4.2.3歸一化99
4.2.4自適應學習率100
4.2.5超參數優化101
4.3改善模型表現102
4.3.1解決數據不匹配問題102
4.3.2遷移學習103
4.4動手訓練神經網絡104
4.4.1Jupyter Notebook的
使用104
4.4.2訓練MNIST手寫數字識別模型106
4.4.3TensorBoard的使用112
4.5本章小結115
第5章RK3399Pro芯片功能與
架構116
5.1RK3399Pro芯片的整體架構116
5.2神經網絡121
5.2.1神經網絡的
4個模塊122
5.2.2RKNN-Toolkit開發
套件123
5.2.3RKNN-API開發套件126
5.3視頻126
5.4圖形處理128
5.5本章小結128
第6章TB-RK3399Pro開發板130
6.1開發板硬件環境介紹130
6.1.1硬件總覽130
6.1.2硬件規格131
6.2開發板開發環境搭建134
6.2.1開發板的啟動和網絡
配置134
6.2.2終端與軟件包安裝138
6.3本章小結144
第7章基於TB-RK3399Pro進行卷積神經網絡實戰145
7.1TB-RK3399Pro圖像采集145
7.1.1原理145
7.1.2實戰146
7.2TB-RK3399Pro手寫數字
識別147
7.2.1原理147
7.2.2實戰150
7.3TB-RK3399Pro YOLO目標
檢測152
7.3.1原理153
7.3.2實戰154
7.4TB-RK3399Pro人臉識別156
7.4.1原理156
7.4.2實戰162
7.5本章小結163
第8章TB-RK3399Pro神經網絡
運算加速165
8.1神經網絡運算加速引擎介紹165
8.2神經網絡模型部署和推理166
8.2.1模型部署167
8.2.2模型推理169
8.3神經網絡模型量化170
8.4本章小結173
第9章基於TB-RK3399Pro開發板進行循環神經網絡實戰174
9.1TB-RK3399Pro開發板聲音
采集174
9.1.1環境安裝174
9.1.2聲音采集175
9.2語音識別模型介紹176
9.2.1特征提取177
9.2.2語音識別網絡180
9.2.3評價指標182
9.3TB-RK3399Pro語音識別
實戰182
9.3.1實戰目的182
9.3.2實戰數據182
9.3.3實戰環境183
9.3.4實戰步驟183
9.3.5實戰結果187
9.4本章小結188
第10章基於Rock-X API的深度
學習案例189
10.1Rock-X SDK介紹189
10.2Rock-X環境部署190
10.3目標檢測190
10.4車牌識別

近年來，人工智能如火如荼地發展，並在計算機視覺、自然語言處理等諸多應用領域取得顯著成果。人工智能的發展依賴於深度學習算法、高質量大數據和高性能計算三大要素。在初始階段，人工智能的開發和應用主要集中在雲端，通常通過服務器進行算法部署。但是雲側智能存在數據安全、隱私保護等問題，服務器部署在實際應用場景中也存在成本高、便捷性差等缺點。同時，隨著越來越多的開發者從事人工智能開發，構建更低成本、更便捷、更開放的人工智能開發平臺和生態變得十分迫切。
因此，人們開始研究和探索能否將人工智能算法與應用部署在終端。但是終端CPU的算力和功耗指標通常無法滿足人工智能應用的需求。隨著人工智能芯片的研發成功，搭載人工智能芯片的嵌入式神經網絡處理器（NPU）能夠以低功耗進行高速運算，於是端側智能得以迅速發展並形成一個繁榮的應用生態。端側智能將人工智能算法和應用部署在手機、嵌入式設備等端側設備上。相比雲側智能，使用NPU來進行人工智能運算具有更好地保護數據隱私、更低時延、便於部署、計算資源等優勢。對於開發者來講，端側智能更加易於上手，成本更低，因此越來越多的開發者加入端側智能開發隊伍並合力構建其生態。英特爾、蘋果等公司紛紛在端側智能設備上發力，國內也湧現出諸如華為昇騰、瑞芯微RK3399Pro及RK3588等優秀的端側人工智能芯片。
優秀的端側人工智能設備，除了需要有具備強大算力的NPU外，還需要能夠支持主流的深度學習框架，擁有功能豐富的開發工具和豐富的開發案例。我在科研、教學與生產中了解和使用了瑞芯微推出的高性能人工智能開發板TB-RK3399Pro和TB-RK3588X，這兩個開發板集軟硬件開發於一體：在硬件方面擁有同類芯片領先的、具備強大算力的NPU，同時集成了CPU、GPU、VPU、RG；在軟件方面支持Caffe、TensorFlow、PyTorch等深度學習框架，同時擁有RKNN-Toolkit開發工具，支持模型轉換、模型量化、算子開發、模型可視化等功能，還擁有豐富的人工智能教學案例和開源社區。
在RK3399Pro的發展和使用過程中，社區積累了豐富的案例和資源，因此我萌生了基於RK3399Pro介紹深度學習和端側人工智能開發的想法。我注意到：市面上的深度學習圖書大多側重於介紹基本概念和原理，缺少實踐和案例；而介紹端側人工智能開發平臺的圖書大多類似於用戶手冊或實驗手冊，往往隻告訴用戶如何操作，缺乏對背後原理的講解。因此我想結合深度學習的基本原理，基於RK3399Pro的深度學習實踐，將理論和實踐結合起來，寫一本集算法知識、趣味性和實踐於一體的圖書，讓深度學習的入門者、RK3399Pro的開發者深入地了解深度學習和端側人工智能。