第1章 概述 11.1 實例11.1.1 求和11.1.2 泡茶問題21.1.3 圖書館新書上架21.1.4 天氣預報31.1.5 HPCC計劃31.1.6 教務管理繫統31.1.7 地球物理石油勘探數據處理繫統41.2 並行計算基礎知識51.2.1 並行計算的重要性51.2.2 並行計算的定義、並行計算機繫統及軟件61.2.3 並行計算的應用分類61.2.4 並行設計的方法71.2.5 應用繫統的並行性81.2.6 並行計算的研究內容81.3 並行程序設計策略和模型91.3.1 並行程序設計策略91.3.2 並行程序設計模型91.4 相關概念101.4.1 順序、並發與並行101.4.2 進程和線程111.4.3 一些基本概念12習題13第2章 並行計算機基礎 14 2.1 並行計算機體繫結構142.1.1 結點152.1.2 互聯網絡152.1.3 並行計算機訪存模型192.2 並行計算機的分類202.2.1 並行計算機的控制結構202.2.2 地址空間212.2.3 並行計算機繫統結構模型212.3 多核技術282.3.1 多核芯片282.3.2 片上多核處理器體繫結構282.3.3 超線程技術292.3.4 基於多核的軟件開發302.3.5 虛擬化技術302.4 GPU技術302.4.1 簡介302.4.2 GPU與並行計算31習題32第3章 並行計算模型 33 3.1 並行計算模型概述333.1.1 串行計算模型與並行計算模型333.1.2 並行計算模型與並行算法333.1.3 並行計算模型與並行繫統中其他模型的關繫343.2 PRAM模型343.2.1 基本PRAM模型343.2.2 實例353.3 BSP模型363.3.1 BSP模型原理363.3.2 實例373.4 LogP模型383.4.1 LogP模型原理383.4.2 實例383.5 並行計算模型比較393.5.1 PRAM模型和LogP模型的比較393.5.2 BSP模型和LogP模型的比較39習題40第4章 並行算法設計基礎 41 4.1 並行算法設計方法414.1.1 基本方法414.1.2 實例424.2 並行算法設計過程444.2.1 PCAM設計方法學454.2.2 劃分454.2.3 通信474.2.4 組合494.2.5 映射514.3 並行算法設計技術524.4 求和問題的並行算法設計53習題54第5章 並行計算性能評測 55 5.1 基本概念555.1.1 運行時間555.1.2 問題規模565.1.3 額外開銷函數565.2 並行繫統的性能分析585.2.1 加速比585.2.2 效率625.2.3 開銷635.2.4 粒度和數據映射對性能的影響635.2.5 實例645.3 並行繫統的可擴展性度量645.3.1 可擴展性645.3.2 度量指標665.3.3 實例68習題69第6章 OpenMP多線程並行程序設計 70 6.1 OpenMP編程基礎706.1.1 OpenMP多線程編程模型706.1.2 OpenMP程序結構716.1.3 使用Microsoft Visual Studio.NET編寫OpenMP程序726.2 編譯指導語句736.2.1 並行域結構——parallel指令746.2.2 共享任務結構756.2.3 同步結構826.2.4 數據處理子句876.3 運行時庫函數966.3.1 基本函數966.3.2 運行時庫函數的互斥鎖支持976.4 環境變量996.5 實例996.5.1 求和996.5.2 數值積分1036.6 OpenMP多線程程序性能分析1086.6.1 並行額外開銷1086.6.2 線程同步帶來的開銷1106.6.3 負載均衡1116.6.4 OpenMP中的任務調度113習題119第7章 MPI消息傳遞並行程序設計 121 7.1 消息傳遞接口1217.1.1 簡介1217.1.2 MPI程序特點1217.2 典型MPI實現——MPICH 1237.2.1 簡介1237.2.2 MPICH的安裝和配置1237.3 MPI編程基礎1277.3.1 簡單的MPI程序示例1277.3.2 MPI程序的4個基本函數1287.3.3 統計時間1287.3.4 錯誤管理1287.4 MPI的點對點通信1297.4.1 點對點通信的例子1297.4.2 MPI_Send()函數1307.4.3 MPI_Recv()函數1307.4.4 消息管理七要素1317.4.5 非阻塞通信1337.5 MPI群集通信1337.5.1 一對多群集通信函數1337.5.2 多對一群集通信函數1347.5.3 多對多群集通信函數1357.5.4 同步函數1367.6 實例1377.6.1 求和1377.6.2 數值積分138習題139第8章 Java多線程並行程序設計 140 8.1 線程1408.1.1 基本概念1408.1.2 線程的狀態與生命周期1418.1.3 線程調度與優先級1428.2 Runnable接口與Thread類1428.2.1 Runnable接口1428.2.2 Thread類1428.3 多線程的實現1448.3.1 創建Thread類的子類1448.3.2 實現Runnable接口1478.3.3 兩種方法的比較1478.4 線程的同步與死鎖1508.4.1 線程同步1508.4.2 線程死鎖1568.5 實例1568.5.1 求和1568.5.2 數值積分159習題161第9章 Python並行程序設計 162 9.1 Python多線程1629.2 Python多進程並行程序設計1639.2.1 Process類實現並行1639.2.2 Python多進程的通信1659.2.3 Python多進程的數據共享1679.2.4 進程間同步1699.2.5 進程池1699.2.6 實例1719.3 Python GPU並行程序設計1749.3.1 概述1749.3.2 常用函數1759.3.3 神經網絡概述1799.3.4 實例181習題183第10章 大數據分布式計算 184 10.1 Hadoop分布式計算平臺18410.2 MapReduce分布式並行編程模型18510.2.1 MapReduce模型簡介18510.2.2 MapReduce工作流程18610.2.3 WordCount分析18810.2.4 MapReduce實例18910.3 Spark分布式計算框架19310.3.1 並行程序設計策略19310.3.2 Spark RDD基本操作19510.3.3 Spark應用程序實例196習題197參考文獻 198