了得網計算機/網絡_TensorFlow2強化學習手冊

產品特色

編輯推薦

通過本書，讀者可以：
l使用全新的TensorFlow和Keras API從頭開始構建深度強化學習智能體；
l使用最少代碼實現先進的深度強化學習算法；
l在模擬環境中培訓深度強化學習智能體，以執行加密貨幣、股票交易和建築能源優化等現實世界的任務；
l使用TensorFlow創建桌面應用程序、雲服務、Web和移動應用程序，將強化學習智能體部署到雲端，構建跨平臺應用程序；
使用分布式DNN模型訓練加快代理開發。

內容簡介

本書首先介紹深度強化學習的基礎知識以及TensorFlow 2.x的**主要版本。隨後介紹OpenAI Gym、基於模型的RL和無模型的RL，並學習如何開發基本代理。深入介紹發現如何實施高級深度強化學習算法，例如行動者批評、深度確定性策略梯度、深度Q網絡、近端策略優化以及深度循環Q網絡，以訓練RL代理。同時，本書通過構建用於自動完成任務的加密貨幣交易代理，股票/股票交易代理和智能代理等實例，探索現實世界中的強化學習。最後，本書介紹如何使用TensorFlow 2.x將深度強化學習代理部署到雲並構建跨平臺應用程序。

作者簡介

陳翔，中山大學電子與信息工程學院教授，電子與信息工程實驗教學中心副主任，深圳清華大學研究院兼職主任研究員，深圳空天通信終端應用技術工程實驗室副主任。主要研究方向為5G移動通信與網絡、衛星通信、軟件無線電，在國內外知名期刊和會議上發表論文80餘篇，獲授權發明專利40餘項，獲2017年度中國電子學會優秀科技工作者稱號。
王璽鈞，中山大學電子與信息工程學院副教授。主要研究方向包括智能物聯網、無人機通信和群智學習，發表論文90餘篇，參撰著作1部，獲授權發明專利40餘項。

第 1 章使用 TensorFlow 2.x 開發深度強化學習的基本模塊 1
1.1 技術要求 1
1.2 構建訓練強化學習智能體的環境和獎勵機制 1
1.2.1 前期準備 2
1.2.2 實現步驟 2
1.2.3 工作原理 8
1.3 針對離散動作空間和離散決策問題實現基於神經網絡的強化學習策略 8
1.3.1 前期準備 9
1.3.2 實現步驟 9
1.3.3 工作原理 13
1.4 針對連續動作空間和連續控制問題實現基於神經網絡的強化學習策略 13
1.4.1 前期準備 14
1.4.2 實現步驟 14
1.4.3 工作原理 19
1.5 將 OpenAI Gym 作為強化學習的訓練環境 20
1.5.1 前期準備 20
1.5.2 實現步驟 20
1.5.3 工作原理 22
1.6 構建神經網絡智能體 22
1.6.1 前期準備 23
1.6.2 實現步驟 23
1.6.3 工作原理 26
1.7 構建神經網絡進化智能體 27
1.7.1 前期準備 27
1.7.2 實現步驟 27
1.7.3 工作原理 34
1.8 參考資料 34
第 2 章基於價值、策略和行動者-評論家的深度強化學習算法實現. 35
2.1 技術要求 35
2.2 構建用於訓練強化學習智能體的隨機環境 35
2.2.1 前期準備 36
2.2.2 實現步驟 37
2.2.3 工作原理 42
2.3 構建基於價值的強化學習智能體算法 42
2.3.1 前期準備 43
2.3.2 實現步驟 43
2.3.3 工作原理 46
2.4 實現時序差分學習 47
2.4.1 前期準備 47
2.4.2 實現步驟 48
2.4.3 工作原理 52
2.5 構建強化學習中的蒙特卡洛預測和控制算法 53
2.5.1 前期準備 54
2.5.2 實現步驟 54
2.5.3 工作原理 58
2.6 實現 SARSA 算法和對應的強化學習智能體 59
2.6.1 前期準備 59
2.6.2 實現步驟 59
2.6.3 工作原理 61
2.7 構建基於 Q 學習的智能體 62
2.7.1 前期準備 62
2.7.2 實現步驟 63
2.7.3 工作原理 64
2.8 實現策略梯度 65
2.8.1 前期準備 65
2.8.2 實現步驟 66
2.8.3 工作原理 70
2.9 實現行動者-評論家算法 70
2.9.1 前期準備 70
2.9.2 實現步驟 71
2.9.3 工作原理 74
第 3 章高級強化學習算法的實現 75
3.1 技術要求 75
3.2 實現 Deep Q 學習算法、DQN 和 Double-DQN 智能體 75
3.2.1 前期準備 76
3.2.2 實現步驟 76
3.2.3 工作原理 81
3.3 實現 Dueling DQN 智能體 81
3.3.1 前期準備 81
3.3.2 實現步驟 82
3.3.3 工作原理 86
3.4 實現 Dueling Double DQN 算法和 DDDQN 智能體 86
3.4.1 前期準備 87
3.4.2 實現步驟 87
3.4.3 工作原理 91
3.5 實現深度遞歸 Q 學習算法和 DRQN 智能體 91
3.5.1 前期準備 91
3.5.2 實現步驟 92
3.5.3 工作原理 96
3.6 實現異步優勢行動者-評論家算法和 A3C 智能體 96
3.6.1 前期準備 96
3.6.2 實現步驟 97
3.6.3 工作原理 104
3.7 實現近端策略優化算法和 PPO 智能體 104
3.7.1 前期準備 104
3.7.2 實現步驟 105
3.7.3 工作原理 112
3.8 實現深度確定性策略梯度算法和 DDPG 智能體 112
3.8.1 前期準備 112
3.8.2 實現步驟 113
3.8.3 工作原理 119
第 4 章現實世界中的強化學習——構建加密貨幣交易智能體 120
4.1 技術要求 120
4.2 使用真實市場數據搭建一個比特幣交易強化學習平臺 120
4.2.1 前期準備 121
4.2.2 實現步驟 121
4.2.3 工作原理 127
4.3 使用價格圖表搭建一個以太坊交易強化學習平臺 128
4.3.1 前期準備 128
4.3.2 實現步驟 129
4.3.3 工作原理 135
4.4 為強化學習智能體搭建一個高級的加密貨幣交易平臺 135
4.4.1 前期準備 135
4.4.2 實現步驟 136
4.4.3 工作原理 140
4.5 使用強化學習訓練一個加密貨幣交易智能體 141
4.5.1 前期準備 141
4.5.2 實現步驟 141
4.5.3 工作原理 153
第 5 章現實世界中的強化學習——建立股票/股份交易智能體 154
5.1 技術要求 154
5.2 使用真實的證券交易所數據搭建一個股票市場交易強化學習平臺 155
5.2.1 前期準備 155
5.2.2 實現步驟 155
5.2.3 工作原理 159
5.3 使用價格圖表搭建一個股票市場交易強化學習平臺 159
5.3.1 前期準備 160
5.3.2 實現步驟 160
5.3.3 工作原理 165
5.4 搭建一個高級的股票交易強化學習平臺以訓練智能體模仿專業交易員 165
5.4.1 前期準備 165
5.4.2 實現步驟 166
5.4.3 工作原理 171
第 6 章現實世界中的強化學習——構建智能體來完成您的待辦事項 173
6.1 技術要求 173
6.2 為現實世界的強化學習搭建學習環境 174
6.2.1 前期準備 174
6.2.2 實現步驟 174
6.2.3 工作原理 181
6.3 構建一個強化學習智能體來完成網絡上的任務——行動號召 181
6.3.1 前期準備 182
6.3.2 實現步驟 182
6.3.3 工作原理 192
6.4 構建一個用於可視化頁面的自動登錄機器人 193
6.4.1 前期準備 194
6.4.2 實現步驟 194
6.4.3 工作原理 202
6.5 訓練一個強化學習智能體來自動為您的行程預訂航班 203
6.5.1 前期準備 203
6.5.2 實現步驟 204
6.5.3 工作原理 211
6.6 訓練一個強化學習智能體來管理您的電子郵件 212
6.6.1 前期準備 212
6.6.2 實現步驟 213
6.6.3 工作原理 217
6.7 訓練一個強化學習智能體來自動管理您的社交媒體賬戶 218
6.7.1 前期準備 218
6.7.2 實現步驟 219
6.7.3 工作原理 226
第 7 章在雲端部署深度強化學習智能體 228
7.1 技術要求 228
7.2 實現強化學習智能體的運行組件 228
7.2.1 前期準備 229
7.2.2 實現步驟 229
7.2.3 工作原理 234
7.3 建立強化學習環境模擬器的服務 234
7.3.1 前期準備 235
7.3.2 實現步驟 235
7.3.3 工作原理 241
7.4 使用遠程模擬服務器訓練強化學習智能體 242
7.4.1 前期準備 242
7.4.2 實現步驟 242
7.4.3 工作原理 246
7.5 測試/評估強化學習智能體 246
7.5.1 前期準備 247
7.5.2 實現步驟 247
7.5.3 工作原理 250
7.6 組裝強化學習智能體進行部署——一個交易機器人 250
7.6.1 前期準備 251
7.6.2 實現步驟 251
7.6.3 工作原理 256
7.7 將強化學習智能體部署到雲端——交易機器人即服務 256
7.7.1 前期準備 257
7.7.2 實現步驟 257
7.7.3 工作原理 259
第 8 章使用分布式訓練加速深度強化學習智能體開發 261
8.1 技術要求 261
8.2 使用 TensorFlow 2.x 的分布式深度學習模型——多 GPU 訓練 261
8.2.1 前期準備 262
8.2.2 實現步驟 262
8.2.3 工作原理 268
8.3 縱向擴展與橫向擴展——多機、多 GPU 訓練 268
8.3.1 前期準備 269
8.3.2 實現步驟 269
8.3.3 工作原理 272
8.4 大規模訓練深度強化學習智能體——多 GPU PPO 智能體 272
8.4.1 前期準備 272
8.4.2 實現步驟 272
8.4.3 工作原理 284
8.5 為加速訓練的分布式深度強化學習的基礎模塊 284
8.5.1 前期準備 284
8.5.2 實現步驟 285
8.5.3 工作原理 290
8.6 使用 Ray、Tune 和 RLLib 進行大規模的深度強化學習智能體訓練 291
8.6.1 前期準備 291
8.6.2 實現步驟 291
8.6.3 工作原理 296
第 9 章深度強化學習智能體的多平臺部署 297
9.1 技術要求 297
9.2 使用 TensorFlow Lite 組裝用於移動和物聯網設備的深度強化學習智能體 297
9.2.1 前期準備 298
9.2.2 實現步驟 298
9.2.3 工作原理 303
9.3 在移動設備上部署強化學習智能體 304
9.3.1 前期準備 305
9.3.2 實現步驟 306
9.3.3 工作原理 313
9.4 使用 TensorFlow.js 為 Web 和 Node.js 組裝深度強化學習智能體 313
9.4.1 前期準備 313
9.4.2 實現步驟 314
9.4.3 工作原理 318
9.5 將深度強化學習智能體部署為服務 318
9.5.1 前期準備 319
9.5.2 實現步驟 319
9.5.3 工作原理 323
9.6 為跨平臺部署組裝深度強化學習智能體 323
9.6.1 前期準備 323
9.6.2 實現步驟 324
9.6.3 工作原理 330

前言

深度強化學習能夠構建超越計算機視覺或感知的智能體、產品和服務來執行操作。TensorFlow 2.x 是最流行的深度學習框架的最新版本，用於開發和訓練深度神經網絡（Deep Neural Network，DNN）。
本書首先介紹了深度強化學習的基礎知識和TensorFlow 2.x的最新主要版本。接下來的內容涵蓋了OpenAI Gym、基於模型的強化學習和無模型的強化學習，以及學習如何開發基本智能體。接著，讀者將了解如何實現高級的深度強化學習算法，如行動者-評論家、深度確定性策略梯度、深度Q網絡、近端策略優化、深度循環Q網絡和軟行動者-評論家等算法，以訓練強化學習智能體。讀者還將通過構建加密貨幣交易智能體、股票/股份交易智能體和用於自動完成任務的智能體來探索現實世界中的強化學習。最後，讀者將了解如何將深度強化學習智能體部署到雲端，以及如何使用TensorFlow 2.x為Web端、移動端和其他平臺構建跨平臺應用程序。
通過本書，可以使用TensorFlow 2.x從頭開始進行簡單易懂的實現，讀者可以更深入理解深度強化學習算法。

深度強化學習能夠構建超越計算機視覺或感知的智能體、產品和服務來執行操作。TensorFlow 2.x 是最流行的深度學習框架的最新版本，用於開發和訓練深度神經網絡（Deep Neural Network，DNN）。

本書首先介紹了深度強化學習的基礎知識和TensorFlow 2.x的最新主要版本。接下來的內容涵蓋了OpenAI Gym、基於模型的強化學習和無模型的強化學習，以及學習如何開發基本智能體。接著，讀者將了解如何實現高級的深度強化學習算法，如行動者-評論家、深度確定性策略梯度、深度Q網絡、近端策略優化、深度循環Q網絡和軟行動者-評論家等算法，以訓練強化學習智能體。讀者還將通過構建加密貨幣交易智能體、股票/股份交易智能體和用於自動完成任務的智能體來探索現實世界中的強化學習。最後，讀者將了解如何將深度強化學習智能體部署到雲端，以及如何使用TensorFlow 2.x為Web端、移動端和其他平臺構建跨平臺應用程序。

通過本書，可以使用TensorFlow 2.x從頭開始進行簡單易懂的實現，讀者可以更深入理解深度強化學習算法。

本書的目標讀者

本書是面向希望使用TensorFlow 2.x從零開始構建、訓練和部署自己的強化學習繫統的機器學習應用開發者、人工智能和應用人工智能研究人員、數據科學家、深度學習從業者和了解強化學習基礎知識的學生。

本書涵蓋的內容

第1章，使用TensorFlow 2.x開發深度強化學習的基本模塊，提供了為具有離散和連續動作空間的強化學習應用構建強化學習環境、基於深度神經網絡的強化學習智能體、進化神經智能體以及其他基本模塊的初始教程。

第2章，基於價值、策略和行動者-評論家的深度強化學習算法實現，包含實現基於價值迭代的學習智能體的方法，並將強化學習中幾個基礎算法（如蒙特卡洛控制、SARSA和Q學習、行動者-評論家以及策略梯度算法）的實現分解為簡單的步驟。

第3章，高級強化學習算法的實現，提供了使用深度Q網絡（Deep Q-Network，DQN）、雙重與競爭深度Q網絡（Double and Dueling Deep Q-Network，DDDQN）、深度循環Q網絡（Deep Recurrent Q-Network，DRQN）、異步優勢行動者-評論家（Asynchronous Advantage Actor-Critic，A3C）、近端策略優化（Proximal Policy Optimization，PPO）以及深度確定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法實現完整智能體訓練繫統的簡明方法。

第4章，現實世界中的強化學習——構建加密貨幣交易智能體，展示了如何使用來自Gemini等交易所的真實市場數據在自定義強化學習環境中實現和訓練一個軟行動者-評論家智能體，用於比特幣和以太幣交易，其中包括表格和視覺（圖像）的狀態/觀測以及離散和連續的動作空間。

第5章，現實世界中的強化學習——構建股票/股份交易智能體，涵蓋了如何在由真實的股票市場交易數據支撐的自定義強化學習環境中訓練高級的強化學習智能體，使用可視化價格圖表和/或表格票證數據等在股票市場上進行交易以獲取利潤。

第6章，現實世界中的強化學習——構建智能體來完成您的待辦事項，提供了構建、訓練和測試基於視覺的強化學習智能體來完成Web上的任務的方法，以幫助您自動完成任務，如單擊網頁上的彈出/確認對話框、登錄各種網站、查找並預訂最便宜的行程機票、整理您的電子郵件收件箱，以及在社交媒體網站上點贊/分享/轉發帖子以與您的關注者互動。

第7章，在雲端部署深度強化學習智能體，提供了工具和詳細信息，幫助讀者領先一步使用深度強化學習提前建立基於雲的模擬即服務和智能體/機器人即服務程序。通過部署交易機器人即服務，學習如何使用在雲端運行的遠程模擬器來訓練強化學習智能體，組裝強化學習智能體的運行組件，以及將深度強化學習智能體部署到雲端。

第8章，使用分布式訓練加速深度強化學習智能體開發，包含了使用TensorFlow 2.x進行深度神經網絡模型的分布式訓練以加速深度強化學習智能體開發的方法。您將了解如何在單臺機器和機器集群上利用多個CPU和GPU來縱向/橫向擴展您的深度強化學習智能體訓練，以及如何利用Ray、Tune和RLLib進行大規模加速訓練。

第9章，深度強化學習智能體的多平臺部署，提供了可自定義的模板，讀者可以利用這些模板來為自己的用例構建和部署深度強化學習應用程序。讀者將了解如何以各種實際使用的格式（如TensorFlow Lite、TensorFlow.js和ONNX）導出用於服務/部署的強化學習智能體模型，並了解如何利用NVIDIA Triton或構建您自己的解決方案來啟動可實際使用的、基於強化學習的人工智能服務。讀者還可以在手機和Web應用程序中部署強化學習智能體，並學習如何在Node.js應用程序中部署強化學習機器人。

書盡其用的建議

本書的代碼已經在Ubuntu 18.04和Ubuntu 20.04 上進行了廣泛的測試，而且可以在安裝了Python 3.6 的Ubuntu後續版本中正常工作。在安裝Python 3.6 的情況下，搭配每項內容開始時列出的必要Python 工具包，本書的代碼也同樣可以在Windows和macOS X上運行。

建議創建和使用一個名為tf2rl-cookbook的Python虛擬環境安裝工具包以及運行本書的代碼。推薦讀者安裝Miniconda或 Anaconda 管理Python虛擬環境。

建議對GitHub存儲庫加注星標並進行分叉，以便接收代碼的更新和改進。此外，建議讀者在GitHub本書討論區分享自己的成果，並與其他讀者和社區進行互動。

示例代碼文件的下載

掃描下方二維碼下載全書示例代碼。

彩色圖像的下載

本書提供了書中圖像的PDF文件，包含本書中使用的屏幕截圖/圖表的彩色圖像，可以掃描下方二維碼下載。

使用的約定

本書中使用了許多文本約定。

Code in text：表示文本中使用的代碼字。下面是一個示例：“我們將從實現Actor類中的save方法開始，以將Actor模型導出為TensorFlow的SavedModel格式。”

代碼塊的設置如下：

def save(self, model_dir: str, version: int = 1):

actor_model_save_dir = os.path.join(model_dir, "actor", str(version), "model.savedmodel")

self.model.save(actor_model_save_dir, save_format="tf")

print(f"Actor model saved at:{actor_model_save_dir}")

對於代碼塊的特定部分，相關行或項將以粗體顯示：

譯者注：此處原書也未體現粗體。

if args.agent != "SAC":

print(f"Unsupported Agent: {args.agent}. Using SAC Agent")

args.agent = "SAC"

# Create an instance of the Soft Actor-Critic Agent

agent = SAC(env.observation_space.shape, env.action_space)

任何命令行輸入或輸出都按如下方式給出：

(tfrl-cookbook)praveen@desktop:~/tensorflow2-reinforcement-learning-cookbook/src/ch7-cloud-deploy-deep-rl-agents$ python 3_training_rl_agents_using_remote_sims.py

粗體（Bold）：表示新術語、重要詞或屏幕上看到的詞。例如，菜單或對話框中的單詞會像這樣出現在文本中。例如，“單擊打開現有項目（Open an Existing Project）選項，可以看到一個彈出窗口，詢問選擇文件繫統上的目錄。導航到第9章的內容，並選擇9.2\\_rl\\_android\\_app。”

提示或重要說明

像這樣出現。

商品搜索

商品分类

【醫學】

【各大出版社】