基本信息

書名:強化學習：原理與Python實現

定價

作者:肖智清 著

出版社：機械工業出版社

出版日期：2019-07-01

ISBN：9787111631774

字數：

頁碼：239

版次：1

裝幀：平裝

開本：16開

商品重量：

編輯推薦

適讀人群 ：1.強化學習算法和研發人員 2. 深度學習研發和算法工程師 3. 大數據架構師 4.其他愛好者

（1）理論完備，涵蓋主流經典強化學習算法和深度強化學習算法，並配套理論基礎和性能分析。

（2）逐章配套Python代碼，深度強化學習配套代碼基於TensorFlow 2實現。在GitHub上展示代碼和運行結果。

（3）環境豐富，包括Gym庫內置環境、對Gym庫自定義擴展環境和Gym庫以外的環境，並全面兼容Windows、macOS和Linux三大操作繫統，書中給出環境配置方法。

（4）多個綜合案例，涵蓋AlphaGo改進版算法AlphaZero、基於仿真環境的自動駕駛等。

（5）對硬件配置要求低，理論講解部分代碼不需要GPU即可運行，綜合案例代碼隻需要普通的GPU即可運行。

內容提要

本書理論完備，涵蓋主流非深度強化學習算法和深度強化學習算法；實戰性強，基於Python、Gym、TensorFlow 2等構建，並有AlphaZero等綜合案例。全書共12章，主要內容如下。

章：介紹強化學習的基礎知識與強化學習環境庫Gym的使用，並給出完整的編程實例。

第2～9章：介紹強化學習的理論知識。以Markov決策過程為基礎模型，覆蓋了所有主流強化學習理論和算法，包括資格跡等經典算法和深度確定性梯度策略等深度強化學習算法。所有章節都提供了與算法配套的Python程序，使讀者完全掌握強化學習算法的原理與應用。

0～12章：介紹了多個熱門綜合案例，包括電動遊戲、棋盤遊戲和自動駕駛。算法部分涵蓋了在《自然》《科學》等期刊上發表的多個深度強化學習明星算法，包括AlphaGo的全新改進版AlphaZero。

目錄

前言

章初識強化學習 1

1.1強化學習及素 1

1.2強化學習的應用 3

1.3智能體/環境接口 4

1.4強化學習的分類 6

1.4.1按任務分類 6

1.4.2按算法分類 7

1.5如何學習強化學習 8

1.5.1學習路線 9

1.5.2學習資源 9

1.6案例：基於Gym庫的智能體/環境交互 9

1.6.1安裝Gym庫 10

1.6.2使用Gym庫 10

1.6.3小車上山 12

1.7本章小結 14

第2章Markov決策過程 16

2.1Markov決策過程模型 16

2.1.1離散時間Markov決策過程 16

2.1.2環境與動力 18

2.1.3智能體與策略 19

2.1.4獎勵、回報與價值函數 19

2.2Bellman期望方程 21

2.3策略及其性質 25

2.3.1策略與價值函數 25

2.3.2Bellman方程 25

2.3.3用Bellman方程求解策略 29

2.4案例：懸崖尋路 31

2.4.1實驗環境使用 31

2.4.2求解Bellman期望方程 32

2.4.3求解Bellman方程 33

2.5本章小結 35

第3章有模型數值迭代 37

3.1度量空間與壓縮映射 37

3.1.1度量空間及其完備性 37

3.1.2壓縮映射與Bellman算子 38

3.1.3Banach不動點定理 39

3.2有模型策略迭代 40

3.2.1策略評估 40

3.2.2策略改進 42

3.2.3策略迭代 44

3.3有模型價值迭代 45

3.4動態規劃 46

3.4.1從動態規劃看迭代算法 46

3.4.2異步動態規劃 47

3.5案例：冰面滑行 47

3.5.1實驗環境使用 48

3.5.2有模型策略迭代求解 49

3.5.3有模型價值迭代求解 51

3.6本章小結 52

第4章回合更新價值迭代 54

4.1同策回合更新 54

4.1.1同策回合更新策略評估 54

4.1.2帶起始探索的同策回合更新 58

4.1.3基於柔性策略的同策回合更新 60

4.2異策回合更新 62

4.2.1重要性采樣 62

4.2.2異策回合更新策略評估 64

4.2.3異策回合更新策略求解 65

4.3案例：21點遊戲 66

4.3.1實驗環境使用 66

4.3.2同策策略評估 67

4.3.3同策策略求解 70

4.3.4異策策略評估 72

4.3.5異策策略求解 73

4.4本章小結 74

第5章時序差分價值迭代 76

5.1同策時序差分更新 76

5.1.1時序差分更新策略評估 78

5.1.2SARSA算法 81

5.1.3期望SARSA算法 83

5.2異策時序差分更新 85

5.2.1基於重要性采樣的異策算法 85

5.2.2Q學習 86

5.2.3雙重Q學習 87

5.3資格跡 89

5.3.1λ回報 89

5.3.2TD(λ) 90

5.4案例：出租車調度 92

5.4.1實驗環境使用 93

5.4.2同策時序差分學習調度 94

5.4.3異策時序差分學習調度 97

5.4.4資格跡學習調度 99

5.5本章小結 100

第6章函數近似方法 101

6.1函數近似原理 101

6.1.1梯度下降 101

6.1.2半梯度下降 103

6.1.3帶資格跡的半梯度下降 105

6.2線性近似 107

6.2.1查找表與線性近似的關繫 107

6.2.2線性 小二乘策略評估 107

6.2.3線性 小二乘策略求解 109

6.3函數近似的收斂性 109

6.4深度Q學習 110

6.4.1經驗回放 111

6.4.2帶目標網絡的深度Q學習 112

6.4.3雙重深度Q網絡 114

6.4.4對偶深度Q網絡 114

6.5案例：小車上山 115

6.5.1實驗環境使用 116

6.5.2用線性近似求解策略 117

6.5.3用深度Q學習求解策略 120

6.6本章小結 123

第7章回合更新策略梯度方法 125

7.1策略梯度算法的原理 125

7.1.1函數近似與動作偏好 125

7.1.2策略梯度定理 126

7.2同策回合更新策略梯度算法 128

7.2.1簡單的策略梯度算法 128

7.2.2帶基線的簡單策略梯度算法 129

7.3異策回合更新策略梯度算法 131

7.4策略梯度更新和極大似然估計的關繫 132

7.5案例：車杆平衡 132

7.5.1同策策略梯度算法求解策略 133

7.5.2異策策略梯度算法求解策略 135

7.6本章小結 137

第8章執行者/評論者方法 139

8.1同策執行者/評論者算法 139

8.1.1動作價值執行者/評論者算法 140

8.1.2優勢執行者/評論者算法 141

8.1.3帶資格跡的執行者/評論者算法 143

8.2基於代理優勢的同策算法 143

8.2.1代理優勢 144

8.2.2鄰近策略優化 145

8.3信任域算法 146

8.3.1KL散度 146

8.3.2信任域 147

8.3.3自然策略梯度算法 148

8.3.4信任域策略優化 151

8.3.5Kronecker因子信任域執行者/評論者算法 152

8.4重要性采樣異策執行者/評論者算法 153

8.4.1基本的異策算法 154

8.4.2帶經驗回放的異策算法 154

8.5柔性執行者/評論者算法 157

8.5.1熵 157

8.5.2獎勵工程和帶熵的獎勵 158

8.5.3柔性執行者/評論者的網絡設計 159

8.6案例：雙節倒立擺 161

8.6.1同策執行者/評論者算法求解策略 162

8.6.2異策執行者/評論者算法求解策略 168

8.7本章小結 170

第9章連續動作空間的確定性策略 172

9.1同策確定性算法 172

9.1.1策略梯度定理的確定性版本 172

9.1.2基本的同策確定性執行者/評論者算法 174

9.2異策確定性算法 176

9.2.1基本的異策確定性執行者/評論者算法 177

9.2.2深度確定性策略梯度算法 177

9.2.3雙重延遲深度確定性策略梯度算法 178

9.3案例：倒立擺的控制 180

9.3.1用深度確定性策略梯度算法求解 181

9.3.2用雙重延遲深度確定性算法求解 184

9.4本章小結 187

0章綜合案例：電動遊戲 188

10.1Atari遊戲環境 188

10.1.1Gym庫的完整安裝 188

10.1.2遊戲環境使用 190

10.2基於深度Q學習的遊戲AI 191

10.2.1算法設計 192

10.2.2智能體的實現 193

10.2.3智能體的訓練和測試 197

10.3本章小結 198

1章綜合案例：棋盤遊戲 200

11.1雙人確定性棋盤遊戲 200

11.1.1五子棋和井字棋 200

11.1.2黑白棋 201

11.1.3圍棋 202

11.2AlphaZero算法 203

11.2.1回合更新樹搜索 203

11.2.2深度殘差網絡 206

11.2.3自我對弈 208

11.2.4算法流程 210

11.3棋盤遊戲環境boardgame2 210

11.3.1為Gym庫擴展自定義環境 211

11.3.2boardgame2設計 211

11.3.3Gym環境接口的實現 214

11.3.4樹搜索接口的實現 216

11.4AlphaZero算法實現 218

11.4.1智能體類的實現 218

11.4.2自我對弈的實現 223

11.4.3訓練智能體 224

11.5本章小結 225

2章綜合案例：自動駕駛 226

12.1AirSim開發環境使用 226

12.1.1安裝和運行AirSim 226

12.1.2用Python訪問AirSim 228

12.2基於強化學習的自動駕駛 229

12.2.1為自動駕駛設計強化學習環境 230

12.2.2智能體設計和實現 235

12.2.3智能體的訓練和測試 237

12.3本章小結 239

作者介紹

肖智清
強化學習一線研發人員，清華大學工學博士，現就職於全球知名投資銀行。擅長概率統計和機器學習，於近5年發表SCI/EI論文十餘篇，是多個國際性知名期刊和會議審稿人。在外多項程序設計和數據科學競賽上獲得冠軍。

序言