本書是國內首部關於GPGPU芯片架構設計繫統性介紹的教材，兼顧理論基礎及實現應用，廣采而精取，層層揭開GPGPU芯片原理。本書可作為高等院校、科研機構等相關單位從事理論教學或者計算機學科進行科學研究的科學家、工程師的參考書籍，也可作為高年級本科生和研究生的學習參考書籍。

●第1章 GPGPU概述
1.1 GPGPU與並行計算機
1.1.1 並行體繫結構
1.1.2 GPU與CPU體繫結構對比
1.2 GPGPU發展概述
1.2.1 GPU
1.2.2 從GPU到GPGPU
1.3 現代GPGPU產品
1.3.1 NVIDIA GPGPU
1.3.2 AMD GPGPU
1.3.3 Intel GPGPU
1.3.4 其他GPU
參考文獻
第2章 GPGPU編程模型
2.1 計算模型
2.1.1 數據並行和線程
2.1.2 主機-設備端和內核函數
2.2 線程模型
2.2.1 線程組織與數據索引
2.2.2 線程分配與執行
2.2.3 線程模型小結
2.3 存儲模型
2.3.1 多樣的存儲器類型
2.3.2 存儲資源與線程並行度
2.4 線程同步與通信模型
2.4.1 同步機制
2.4.2 協作組
2.4.3 流與事件
2.4.4 原子操作
2.5 CUDA指令集概述
2.5.1 中間指令PTX
2.5.2 機器指令SASS
參考文獻
第3章 GPGPU控制核心架構
3.1 GPGPU架構概述
3.1.1 CPU-GPGPU異構計算繫統
3.1.2 GPGPU架構
3.1.3 擴展討論：架構特點和局限性
3.2 GPGPU指令流水線
3.2.1 前段：取指與譯碼
3.2.2 中段：調度與發射
3.2.3 後段：執行與寫回
3.2.4 擴展討論：線程束指令流水線
3.3 線程分支
3.3.1 謂詞寄存器
3.3.2 SIMT堆棧
3.3.3 分支屏障
3.3.4 擴展討論：更高效的線程分支執行
3.4 線程束調度
3.4.1 線程束並行、調度與發射
3.4.2 基本的調度策略
3.4.3 擴展討論：線程束調度策略優化
3.5 記分牌
3.5.1 數據相關性
3.5.2 GPGPU中的記分牌
3.5.3 擴展討論：記分牌設計優化
3.6 線程塊分配與調度
3.6.1 線程塊並行、分配與調度
3.6.2 基本的線程塊分配與調度策略
3.6.3 擴展討論：線程塊分配與調度策略優化
參考文獻
第4章 GPGPU存儲架構
4.1 GPGPU存儲繫統概述
4.1.1 CPU的層次化存儲
4.1.2 GPGPU的存儲層次
4.2 寄存器文件
4.2.1 並行多板塊結構
4.2.2 板塊衝突和操作數收集器
4.2.3 操作數並行訪問時的相關性冒險
4.2.4 擴展討論：寄存器文件的優化設計
4.3 可編程多處理器內的存儲繫統
4.3.1 數據通路概述
4.3.2 共享存儲器訪問
4.3.3 L1高速緩存訪問
4.3.4 紋理緩存
4.3.5 擴展討論：片上存儲繫統的優化設計
4.4 可編程多處理器外的存儲繫統
4.4.1 存儲
4.4.2 L2緩存
4.4.3 幀
4.4.4 全局存儲器
4.5 存儲架構的優化設計
4.5.1 片上存儲資源融合
4.5.2 技術對比與小結
參考文獻
第5章 GPGPU架構
5.1 數值的表示
5.1.1 整型數據
5.1.2 浮點數據
5.1.3 擴展討論：多樣的浮點數據表示
5.2 GPGPU的
5.2.1 整型
5.2.2 浮點
5.2.3 特殊
5.2.4 張量
5.3 GPGPU的架構
5.3.1 的組織和峰值算力
5.3.2 實際的指令吞吐率
5.3.3 擴展討論：脈動陣列結構
參考文獻
第6章 GPGPU張量核心架構
6.1 深度神經網絡的計算
6.1.1 深度神經網絡的計算特征
6.1.2 卷積運算方式
6.2 張量核心架構
6.2.1 張量核心架構特征概述
6.2.2 Volta架構中的張量核心
6.2.3 張量核心的發展
6.2.4 擴展討論：張量核心對稀疏的支持
6.3 神經網絡計算的軟件支持
6.4 深度學習評價基準——MLPerf
參考文獻
第7章 總結與展望
7.1 本書內容總結
7.2 GPGPU發展展望

本書是一部繫統介紹通用圖形處理器（GPGPU）編程模型與體繫結構的書籍。全書共7章：第1章GPGPU概述，著重介紹GPGPU與CPU體繫結構上的差異和現代GPGPU產品的特點；第2章GPGPU編程模型，介紹GPGPU編程模型的核心概念，勾勒出GPGPU異構計算的設計要點；第3章GPGPU控制核心架構，對GPGPU指令流水線和關鍵控制部件的原理進行分析和介紹，並深入探討GPGPU架構的瓶頸問題和優化方法；第4章GPGPU存儲架構，對GPGPU多樣的層次化存儲器進行介紹，重點探討片上存儲器的設計和優化方法；第5章GPGPU架構，介紹數值表示和通用運算核心的設計；第6章GPGPU張量核心架構，對專門為人工智能加速而設計的張量核心架構展開分析與介紹，揭示GPGPU對深度學習進行硬件加速的基本原理；第7章總結與展望，對全書內容進行總結，並對GPGPU發展進行展望。 本書適合作為廣等

景乃鋒,柯晶,梁曉峣 編