CONTENTS
目錄

譯者序
前言
第1章簡介 1
1.1機器學習的曙光 1
1.1.1“Jeopardy!”中的IBM Watson
挑戰 1
1.1.2ImageNet挑戰 2
1.1.3谷歌AlphaGo挑戰職業
圍棋選手 2
1.2機器學習及其應用 3
1.2.1定義 3
1.2.2應用 3
1.3學習及其性能指標 4
1.3.1學習前的準備 5
1.3.2學習方法 7
1.3.3性能指標和驗證 8
1.4例子 11
1.4.1工業4.0 11
1.4.2交易（區塊鏈） 12
1.5機器學習的總結 15
1.5.1與人工智能的區別 15
1.5.2炒作周期 15
第2章傳統的微架構 16
2.1微處理器 16
2.1.1處理器核心的微架構 16
2.1.2微處理器的編程模型 17
2.1.3微處理器的復雜性 18
2.1.4超標量處理器的優點和
缺點 20
2.1.5寄存器文件的規模 20
2.1.6分支預測及其懲罰 20
2.2多核處理器 21
2.2.1眾核的概念 21
2.2.2編程模型 21
2.3數字信號處理器 22
2.3.1DSP的概念 22
2.3.2DSP微架構 23
2.4圖形 24
2.4.1GPU的概念 24
2.4.2GPU微架構 24
2.4.3GPU上的編程模型 26
2.4.4將GPU應用於計算繫統 26
2.5現場可編程門陣列 27
2.5.1FPGA的概念 27
2.5.2FPGA微架構 27
2.5.3FPGA設計流程 28
2.5.4將FGPA應用於計算繫統 29
2.6特定領域架構的前景 30
2.6.1過去的計算機行業 30
2.6.2機器學習硬件的歷史 31
2.6.3重新審視機器學習硬件 32
2.7執行性能的衡量指標 34
2.7.1延遲和吞吐量 34
2.7.2每秒的操作數 35
2.7.3能耗和功耗 36
2.7.4能效 37
2.7.5利用情況 39
2.7.6數據重用 40
2.7.7面積 41
2.7.8成本 41
第3章機器學習及其實現 43
3.1及其網絡 43
3.2神經形態計算 45
3.2.1脈衝時序依賴可塑性和
學習 45
3.2.2神經形態計算硬件 46
3.2.3地址-事件表示 48
3.3神經網絡 49
3.3.1神經網絡模型 50
3.3.2以前和現在的神經網絡 52
3.3.3神經網絡硬件 53
3.4用於模擬實現的 57
第4章應用、ASIC和特定領域架構 58
4.1應用 58
4.1.1應用的概念 58
4.2應用的特征 59
4.2.1局部性 59
4.2.2死鎖 60
4.2.3依賴性 62
4.2.4時間和空間操作 64
4.3特定應用的集成電路 65
4.3.1設計約束 65
4.3.2模塊化結構和大規模生產 69
4.3.3牧村波動 70
4.3.4設計流程 71
4.4特定領域架構 71
4.4.1特定領域架構簡介 71
4.4.2特定領域語言 72
4.5機器學習硬件 73
4.6深度學習上的推理分析和訓練
分析 74
4.6.1深度學習上的推理分析 74
4.6.2深度學習上的訓練分析 76
第5章機器學習模型開發 79
5.1開發過程 79
5.1.1開發周期 79
5.1.2交叉驗證 80
5.1.3軟件棧 81
5.2編譯器 82
5.2.1ONNX 82
5.2.2NNVM 83
5.2.3TensorFlow XLA 83
5.3代碼優化 83
5.3.1提取數據級並行 83
5.3.2內存訪問優化 84
5.4Python腳本語言和虛擬機 85
5.4.1Python和優化 85
5.4.2虛擬機 86
5.5計算統一設備架構 87
第6章性能提升方法 89
6.1模型壓縮 89
6.1.1剪枝 89
6.1.2dropout 93
6.1.3dropconnect 94
6.1.4蒸餾 94
6.1.5主成分分析 96
6.1.6權重共享 97
6.2數值壓縮 99
6.2.1量化和數值精度 100
6.2.2對內存占用和推理準確性
的影響 103
6.2.3切邊和剪裁 109
6.3編碼 110
6.3.1遊程編碼 110
6.3.2霍夫曼編碼 111
6.3.3壓縮的效果 113
6.4零值跳過 116
6.4.1零值跳過的概念 116
6.4.2CSR和CSC的稀疏表示 116
6.4.3零值跳過的用例 119
6.5近似 121
6.5.1近似的概念 121
6.5.2激活函數近似 121
6.5.3乘法器的近似 123
6.6優化 125
6.6.1模型優化 125
6.6.2數據流優化 126
6.7性能提升方法的總結 128
第7章硬件實現的案例研究 130
7.1神經形態計算 130
7.1.1模擬邏輯電路 130
7.1.2數字邏輯電路 131
7.2深度神經網絡 135
7.2.1模擬邏輯電路 135
7.2.2DSP 137
7.2.3FPGA 139
7.2.4ASIC 145
7.3量子計算 175
7.4研究案例的總結 175
7.4.1神經形態計算的案例
研究 181
7.4.2深度神經網絡的案例
研究 181
7.4.3神經形態計算和深度神經
網絡硬件之間的比較 182
第8章硬件實現的關鍵 183
8.1市場增長預測 183
8.1.1IoT市場 183
8.1.2機器人市場 184
8.1.3大數據和機器學習市場 184
8.1.4藥物研發中的人工智能
市場 185
8.1.5FPGA市場 185
8.1.6深度學習芯片市場 185
8.2設計和成本之間的權衡 186
8.3硬件實現策略 188
8.3.1策略規劃的要求 188
8.3.2基本策略 191
8.3.3替代因子 193
8.4硬件設計要求概述 193
第9章結論 194
附錄A深度學習基礎 195
A.1等式模型 195
A.1.1前饋神經網絡模型 196
A.1.2激活函數 196
A.1.3輸出層 197
A.1.4學習和反向傳播 197
A.1.5參數初始化 201
A.2用於深度學習的矩陣操作 201
A.2.1矩陣表示及其布局 202
A.2.2用於學習的矩陣操作
序列 203
A.2.3學習優化 203
A.2.4偏置-方差問題 203
附錄B深度學習硬件建模 205
B.1深度學習硬件的概念 205
B.1.1參數空間與傳播之間的
關繫 205
B.1.2基本的深度學習硬件 206
B.2深度學習硬件上的數據流 206
B.3機器學習硬件架構 207
附錄C高級神經網絡模型 208
C.1CNN變體 208
C.1.1卷積架構 208
C.1.2卷積的後向傳播 210
C.1.3卷積的變體 213
C.1.4深度卷積對抗生成
網絡 215
C.2RNN變體 215
C.2.1RNN架構 215
C.2.2LSTM和G 216
C.2.3公路網絡 218
C.3自編碼器變體 218
C.3.1堆式去噪自編碼器 218
C.3.2梯形網絡 219
C.3.3變分自編碼器 220
C.4殘差網絡 221
C.4.1殘差網絡的概念 221
C.4.2殘差網絡效應 221
C.5圖神經網絡 222
C.5.1圖神經網絡的概念 222
附錄D國家研究、趨勢和投資 224
D.1中國 224
D.1.1下一代人工智能發展
計劃 224
D.2美國 225
D.2.1SyNAPSE計劃 225
D.2.2UPSIDE計劃 225
D.2.3MICrONS計劃 225
D.3歐洲 225
D.4日本 226
D.4.1內政及通信省 226
D.4.2文部科學省 226
D.4.3日本經濟貿易產業省 226
D.4.4內務省 227
附錄E機器學習對社會的影響 228
E.1產業 228
E.1.1過去的產業 228
E.1.2下一個產業 230
E.1.3開源的軟件和硬件 230
E.1.4社會企業和共享經濟 231
E.2機器學習與我們 231
E.2.1機器學習可替代的領域 231
E.2.2產業整合 232
E.2.3一個簡化的世界 232
E.3社會與個人 233
E.3.1將編程引入教育 233
E.3.2價值改變 233
E.3.3社會支持 235
E.3.4犯罪 235
E.4國家 236
E.4.1警察和檢察官 236
E.4.2行政、立法和司法 236
E.4.3軍事 236
參考文獻 237

PREFACE
前言
2012年，機器學習被應用於圖像識別，並提供了很高的推理準確性。此外，還開發了一個機器學習繫統，可以在國際像棋和圍棋遊戲中挑戰人類專家，並成功地擊敗了世界級的專業人士。半導體技術的進步提高了完成深度學習任務所需的執行性能和數據存儲容量。不僅如此，互聯網還提供了大量的數據，可以被應用於神經網絡模型的訓練。研究環境的改善為機器學習領域帶來了突破性進展。
深度學習在世界各地的應用越來越廣泛，特別是在互聯網服務和社會基礎設施的管理方面。深度學習的神經網絡模型在開源的基礎設施和高性能計算繫統上運行，使用專用的圖形（GPU）。然而，GPU會消耗大量的電力（300W），因此數據中心在應用大量的GPU時，必須管理電力消耗和產生的熱能以降低運營成本。高昂的運營成本使人們難以使用GPU，即使是在有雲服務的情況下。此外，雖然我們應用了開源軟件工具，但機器學習平臺是由特定的CPU和GPU供應商控制的。我們不能從各種產品中進行選擇，而且幾乎沒有什麼多樣性可言。但多樣性是必要的，不僅對於軟件程序如此，對於硬件設備也是如此。2018年是深度學習的特定領域架構（DSA）的開端之年，各種初創公司開發了自己的深度學習處理器，與此同時還出現了硬件多樣性。
本書介紹了不同的機器學習硬件和平臺，描述了各種類型的硬件架構，並提供了未來硬件設計的方向。書中涵蓋各類機器學習模型，包括神經形態計算和神經網絡模型，例如深度學習。此外，還介紹了開發深度學習的一般周期設計過程。本書對多核處理器、數字信號處理器（DSP）、現場可編程門陣列（FPGA）和特定應用集成電路（ASIC）等示例產品也進行了介紹，並總結了硬件架構設計的關鍵點。雖然本書主要關注深度學習，但也對神經形態計算進行了簡要描述。書中還考慮了硬件設計的未來方向，並對傳統微處理器、GPU、FPGA和ASIC的未來發展進行了展望。為了展示這一領域的當前趨勢，本書描述了當前的機器學習模型及其平臺，使讀者能夠更好地了解現代研究趨勢，並考慮未來的設計，進而有自己的想法。
為了展示相關技術的基本特征，附錄介紹了作為基本深度學習方法的前饋神經網絡模型，並提供了一個硬件設計實例。此外，附錄還詳細介紹了高級神經網絡模型，使讀者能夠考慮不同的硬件來支持這種模型。最後，附錄還介紹了與深度學習相關的各國研究趨勢和各類社會問題。
全書概要
第1章提供了一個深度學習基礎的例子，並解釋了其應用。本章介紹了訓練（學習）—這是機器學習的核心部分，包括它的評估以及驗證方法。工業4.0是一個應用實例，這是一個先進的行業定義，支持客戶適應性和優化工廠生產線的需求。此外，還介紹了區塊鏈在機器學習中的應用。區塊鏈是一個有形和無形財產的賬本繫統，該繫統將被用於深度學習的各種目的。
第2章介紹用於機器學習的基本硬件基礎設施，如微處理器、多核處理器、DSP、GPU和FPGA，包括微架構及其編程模型。本章還討論了最近在通用計算機器中使用GPU和FPGA的原因，以及為什麼微處理器在提高執行性能時遇到了困難。本章還解釋了市場趨勢在應用前景方面的變化。此外，還簡要介紹了評估執行性能的指標。
第3章首先描述了一個形式化模型，然後討論了神經形態計算模型和神經網絡模型，這兩個模型是最近腦啟發計算的主要實現方法。神經形態計算包括大腦的脈衝時序依賴可塑性（STDP）特征，這似乎在學習中起著關鍵作用。此外，本章還解釋了用於脈衝傳輸的地址-事件表示（AER）。關於神經網絡，我們對淺層神經網絡和深層神經網絡（有時被稱為深度學習）都進行了簡單的解釋。如果你想了解深度學習任務，那麼附錄A可以作為一份簡介。
第4章介紹了ASIC和特定領域架構。算法被描述為對應用的表示，形成了傳統計算機上的軟件。本章接著介紹了應用程序設計（不僅是軟件開發）所涉及的局部性、死鎖屬性、依賴性以及（到計算機核心的）時間和空間映射等特征。好的硬件架構有好的設計，可以有效地利用這些因素。死鎖屬性和依賴性由一般資源繫統統一解釋。此外，本章還解釋了設計約束。最後，在Alex Net的案例中分析了推理和訓練方面的深度學習任務。
第5章簡要解釋了機器學習模型—神經網絡模型的開發過程，以及編碼後的模型如何通過Python腳本語言的虛擬機器在計算繫統上工作。此外，還解釋了向量化、SIMD化和內存訪問對齊等代碼優化技術。這些技術提高了數據級的並行性—這是數據密集型計算的一個指標。這些技術也提高了執行性能，就像在深度神經網絡任務中所表現的那樣。除此之外，本章還介紹了計算統一設備架構（CUDA）。CUDA是英偉達公司的通用編程基礎設施，用於數據密集型計算，包括深度學習任務。你將看到一個基於GPU的繫統是如何工作的。
第6章解釋了提高執行性能的方法，主要包含模型壓縮、數值壓縮、編碼、零值跳過、近似和優化六種方法。模型壓縮包括剪枝、dropout、dropconnect、蒸餾、主成分分析（PCA）和權重共享。數值壓縮包括量化、低精度數值表示、切邊和剪裁。編碼解釋了遊程編碼和霍夫曼編碼。零值跳過包括壓縮稀