一本介紹在OpenAI Gym環節中構建智能體的實戰指南！隻需要專注算法的優化，無需浪費時間去搭建環境！·從零起步，內容通俗易懂，輕松學習OpenAI Gym的用法·運用強化學習/深度強化學習算法構建智能體，不用浪費時間去搭建環境！·案例應用側重於遊戲、自動駕駛領域，幫你解決基於智能體的領域問題！·基於Python編程語言，講解基本概念和應用知識，操作易上手！

●第1章智能體與學習環境入門1
1．1智能體簡介1
1．2學習環境2
1．3OpenAIGym簡介3
1．4理解OpenAIGym的主要特性8
1．4．1簡單的環境接口8
1．4．2可比較與可復現8
1．4．3進程可監控9
1．5OpenAIGym工具包的作用9
1．6創建第一個OpenAIGym環境9
1．7小結11
第2章強化學習和深度強化學習12
2．1強化學習簡介12
2．2直觀理解人工智能的含義和內容13
2．2．1監督學習13
2．2．2非監督學習14
2．2．3強化學習14
2．3強化學習實戰14
2．3．1智能體15
2．3．2獎勵15
2．3．3環境15
2．3．4狀態16
2．3．5模型17
2．3．6值函數17
2．3．7策略18
2．4馬爾可夫決策過程18
2．5動態規劃19
2．6蒙特卡洛學習和時序差分學習19
2．7SARSA和Q-Learning20
2．8深度強化學習21
2．9強化學習和深度強化學習算法的實踐應用22
2．10小結23
第3章開啟OpenAIGym和深度強化學習之旅24
3．1代碼庫、設置和配置24
3．1．1先決條件25
3．1．2創建conda環境26
3．1．3最小化安裝——快捷簡便的方法27
3．1．4完整安裝OpenAIGym學習環境28
3．2安裝深度強化學習所需的工具和庫32
3．2．1安裝推薦的繫統軟件包32
3．2．2安裝CUDA33
3．2．3安裝PyTorch34
3．3小結35
第4章探索Gym及其功能36
4．1探索環境列表和術語36
4．1．1術語37
4．1．2探索Gym環境38
4．2理解Gym接口40
4．3Gym中的空間43
4．4小結47
第5章實現第一個智能體——解決過山車問題48
5．1了解過山車問題48
5．2從零開始實現Q-Learning智能體50
5．2．1Q-Learning回顧53
5．2．2使用Python和NumPy實現Q-Learning智能體53
5．3在Gym中訓練強化學習智能體58
5．4測試並記錄智能體的性能58
5．5一個簡單且完整的Q-Learner實現——過山車問題的解決方案59
5．6小結63
第6章用深度Q-Learning實現很優化控制智能體64
6．1優化Q-Learning智能體65
6．1．1用神經網絡近似Q函數65
6．1．2經驗回放71
6．1．3重溫ε-貪婪動作策略74
6．2實現一個深度Q-Learning智能體76
6．2．1用PyTorch實現一個深度卷積Q網絡77
6．2．2使用目標Q網絡穩定智能體的學習78
6．2．3記錄和可視化智能體的學習過程79
6．2．4管理超參數和配置參數81
6．2．5用完整的深度Q-Learner處理輸入為原始像素的復雜問題83
6．3AtariGym環境89
6．4訓練深度Q-Learner玩Atari遊戲98
6．4．1整合一個完整的深度Q-Learner98
6．4．2超參數101
6．4．3啟動訓練過程102
6．4．4在Atari遊戲中測試深度Q-Learner的性能103
6．5小結104
第7章創建自定義OpenAIGym環境——CARLA105
7．1理解Gym環境結構105
7．1．1為自定義Gym環境實現創建模板106
7．1．2在OpenAIGym環境中注冊自定義環境108
7．2創建與OpenAIGym兼容的CARLA環境108
7．2．1配置和初始化110
7．2．2實現reset方法111
7．2．3為CARLA環境實現step函數115
7．2．4測試CARLAGym環境120
7．3小結122
第8章用深度演員-評論家算法實現無人駕駛智能體123
8．1深度n步優勢演員-評論家算法123
8．1．1策略梯度124
8．1．2演員-評論家算法126
8．1．3優勢演員-評論家算法127
8．1．4n步優勢演員-評論家算法129
8．1．5深度n步優勢演員-評論家算法132
8．2實現深度n步優勢演員-評論家智能體133
8．2．1初始化演員和評論家網絡133
8．2．2用當前策略獲取n步經驗137
8．2．3計算演員和評論家的損失137
8．2．4更新演員-評論家模型139
8．2．5用於保存/加載、記錄、可視化和監視的工具139
8．2．6擴展——異步深度n步優勢演員-評論家139
8．3訓練一個“聰明”的自動駕駛智能體140
8．3．1訓練和測試深度n步優勢演員-評論家智能體140
8．3．2訓練智能體在CARLA中駕駛車輛143
8．4小結144
第9章探索學習環境全景——Roboschool、GymRetro、StarCraft-Ⅱ和DeepMindLab145
9．1Gym接口兼容的環境146
9．1．1Roboschool146
9．1．2GymRetro150
9．2其他基於Python的開源學習環境153
9．2．1星際爭霸Ⅱ—PySC2153
9．2．2DeepMindLab156
9．3小結160
第10章探索學習算法世界——DDPG（演員-評論家）、PPO（策略梯度）、Rainbow（基於值）161
10．1深度確定性策略梯度162
10．2近端策略優化163
10．3Rainbow165
10．3．1核心概念165
10．3．2優點及應用簡要總結169
10．4小結170

這是一本介紹用OpenAI Gym構建智能體的實戰指南。全書先簡要介紹智能體和學習環境的一些入門知識，概述強化學習和深度強化學習的基本概念和知識點，然後重點介紹OpenAI Gym的相關內容，隨後在具體的Gym環境中運用強化學習算法構建智能體。本書還探討了這些算法在遊戲、自動駕駛領域的應用。
本書適合想用OpenAIGym構建智能體的讀者閱讀，也適合對強化學習和深度強化學習感興趣的讀者參考。讀者應具備一定的Python編程基礎。

(印)普拉文·巴拉尼沙米 著 洪賢斌,湯奎樺 譯