本書是一本理想的學習 CUDA 編程的入門書籍，理論與實操結合，難易適中。

●章 GPU硬件與CUDA程序開發工具1
1.1 GPU 硬件簡介1
1.2 CUDA 程序開發工具4
1.3 CUDA 開發環境搭建示例6
1.4 用nvidia-smi檢查與設置設備7
1.5 其他學習資料8
第2章 CUDA中的線程組織10
2.1 C++語言中的HelloWorld程序10
2.2 CUDA中的HelloWorld程序11
2.2.1 隻有主機函數的CUDA程序11
2.2.2 使用核函數的CUDA程序12
2.3 CUDA 中的線程組織14
2.3.1 使用多個線程的核函數14
2.3.2 使用線程索引15
2.3.3 推廣至多維網格17
2.3.4 網格與線程塊大小的21
2.4 CUDA 中的頭文件21
2.5 用nvcc編譯CUDA程序22
第3章 簡單CUDA程序的基本框架25
3.1 例子：數組相加25
3.2 CUDA 程序的基本框架27
3.2.1 隱形的設備初始化29
3.2.2 設備內存的分配與釋放29
3.2.3 主機與設備之間數據的傳遞31
3.2.4 核函數中數據與線程的對應32
3.2.5 核函數的要求33
3.2.6 核函數中if語句的必要性34
3.3 自定義設備函數35
3.3.1 函數執行空間標識符35
3.3.2 例子：為數組相加的核函數定義一個設備函數36
第4章 CUDA程序的錯誤檢測38
4.1 一個檢測CUDA運行時錯誤的宏函數38
4.1.1 檢查運行時API函數40
4.1.2 檢查核函數42
4.2 用CUDA-MEMCHECK檢查內存錯誤44
第5章 獲得GPU加速的關鍵46
5.1 用CUDA事件計時46
5.1.1 為C++程序計時47
5.1.2 為CUDA程序計時48
5.2 幾個影響GPU加速的關鍵因素50
5.2.1 數據傳輸的比例50
5.2.2 算術強度51
5.2.3 並行規模54
5.2.4 總結55
5.3 CUDA 中的數學函數庫55
第6章 CUDA的內存組織57
6.1 CUDA 的內存組織簡介57
6.2 CUDA 中不同類型的內存58
6.2.1 全局內存58
6.2.2 常量內存61
6.2.3 紋理內存和表面內存62
6.2.4 寄存器62
6.2.5 局部內存63
6.2.6 共享內存63
6.2.7 L1和L2緩存
6.3 SM 及其占有率65
6.3.1 SM 的構成65
6.3.2 SM 的占有率65
用CUDA運行時API函數查詢設備67
第7 章 全局內存的合理使用70
7.1 全局內存的合並與非合並訪問70
7.2 例子：矩陣轉置73
7.2.1 矩陣復制73
7.2.2 使用全局內存進行矩陣轉置75
第8 章 共享內存的合理使用78
8.1 例子：數組歸約計算78
8.1.1 僅使用全局內存79
8.1.2 使用共享內存82
8.1.3 使用動態共享內存84
8.2 使用共享內存進行矩陣轉置85
8.3 避免共享內存的bank衝突86
第9 章 原子函數的合理使用90
9.1 完全在GPU中進行歸約90
9.2 原子函數93
9.3 例子：鄰居列表的建立95
9.3.1 C++ 版本的開發96
9.3.2 利用原子操作的CUDA版本98
9.3.3 不用原子操作的CUDA版本101
0章 線程束基本函數與協作組104
10.1 單指令-多線程執行模式104
10.2 線程束內的線程同步函數106
10.3 更多線程束內的基本函數109
10.3.1 介紹109
10.3.2 利用線程束洗牌函數進行歸約計算114
10.4 協作組116
10.4.1 線程塊級別的協作組116
10.4.2 利用協作組進行歸約計算118
10.5 數組歸約程序的進一步優化119
10.5.1 提高線程利用率119
10.5.2 避免反復分配與釋放設備內存122
1章 CUDA流124
11.1 CUDA 流概述124
11.2 在默認流中重疊主機和設備計算125
11.3 用非默認CUDA流重疊多個核函數的執行128
11.3.1 核函數執行配置中的流參數128
11.3.2 重疊多個核函數的例子129
11.4 用非默認CUDA流重疊核函數的執行與數據傳遞131
11.4.1 不可分頁主機內存與異步的數據傳輸函數131
11.4.2 重疊核函數執行與數據傳輸的例子133
2章 使用統一內存編程136
12.1 統一內存簡介136
12.1.1 統一內存的基本概念136
12.1.2 使用統一內存對硬件的要求137
12.1.3 統一內存編程的優勢137
12.2 統一內存的基本使用方法137
12.2.1 動態統一內存138
12.2.2 靜態統一內存139
12.3 使用統一內存申請超量的內存140
12.3.1 個測試140
12.3.2 第二個測試142
12.3.3 第三個測試143
12.4 優化使用統一內存的程序144
3章 分子動力學模擬的CUDA程序開發147
13.1 分子動力學模擬的基本算法和C++實現147
13.1.1 程序的整體結構147
13.1.2 分子動力學模擬的基本流程148
13.1.3 初始條件149
13.1.4 邊界條件150
13.1.5 相互作用152
13.1.6 運動方程的數值積分156
13.1.7 程序中使用的單位制157
13.1.8 程序的編譯與運行158
13.1.9 能量守恆的測試159
13.1.10 C++ 版本程序運行速度的測試160
13.2 CUDA 版本的分子動力學模擬程序開發161
13.2.1 僅加速求力和能量的部分161
13.2.2 加速全部計算165
4章 CUDA標準庫的使用167
14.1 CUDA 標準庫簡介167
14.2 Thrust 庫168
14.2.1 簡介168
14.2.2 數據結構168
14.2.3 算法168
14.2.4 例子：前綴和169
14.3 cuBLAS 庫171
14.3.1 簡介171
14.3.2 例子：矩陣乘法172
14.4 cuSolver 庫176
14.4.1 簡介176
14.4.2 例子：矩陣本征值177
14.5 cuRAND 庫181
14.5.1 簡介181
14.5.2 例子182

CUDA是目前較為流行的GPU高性能計算的開發工具之一。本書通過大量實例繫統地講述CUDA編程的重要方面。前12章通過一些簡短的例子循序漸進地介紹CUDA編程的基石知識，主要包括GPU硬件與CUDA程序開發工具（章）、CUDA中的線程組織（第2章：CUDA程序的基本框架與錯誤檢測（第3、4章）、獲得GPU加速的關鍵（第5章）、CUD中的內存組織與各種內存的合理使用（第6~8章）、原子函數的合理使用（第9章）、線程束內的基本函數（0章）、CUDA流（1章）、統一內存（2章）等。後面兩章是可選讀的內容：3章綜合運用前述章節中的知識，用CUDA開發一個簡單的分子動力學模擬程序；4章介紹若干CUDA庫（包括Thrust、cuBLAS、cuSolver和cuRAND)的使用。
本書適合高等院校理工科專業的本科生和研究生及其他任何對CUDA編程感興趣的人士閱讀。

樊哲勇 著