"√一本討論強化學習落地應用的技術書√從實用性角度對強化學習進行歸納和梳理，重點圍繞如何解決實際問題展開√重難點技術剖析：動作空間的設計、狀態空間的搭建、回報函數的構造、算法的選擇和調試等√《深度強化學習落地指南》囊括了作者對強化學習應用落地的全新思考"

●第1章 需求分析1
1.1 需求分析：勿做DRL鐵錘人1
1.2 一問“是不是”2
1.2.1 Agent和環境定義2
1.2.2 馬爾可夫決策過程和強化學習3
1.3 二問“值不值”5
1.3.1 試試規則和啟發式搜索5
1.3.2 別忘了傳統強化學習7
1.3.3 使用DRL的理由7
1.4 三問“能不能”9
1.4.1 場景固定：兩個分布一致9
1.4.2 數據廉價：多、快、好、費13
1.5 四問“邊界在哪裡”16
1.6 本章小結18
參考文獻19
第2章 動作空間設計23
2.1 動作空間設計：這裡大有可為23
2.1.1 被忽視的價值23
2.1.2 動作空間的常見類型24
2.1.3 動作空間設計的基本原則26
2.2 動作空間的完備性26
2.2.1 功能完備27
2.2.2 時效完備29
2.3 動作空間的高效性30
2.3.1 化整為零：以精度換效率31
2.3.2 有機組合：尺度很重要33
2.4 動作空間的合法性35
2.4.1 非法動作屏蔽機制36
2.4.2 Agent的知情權37
2.5 本章小結39
參考文獻40
第3章 狀態空間設計43
3.1 狀態空間設計：特征工程的誘惑43
3.2 狀態空間設計的兩種常見誤區44
3.2.1 過分依賴端到端特征學習44
3.2.2 很好特征工程44
3.3 與動作空間和回報函數的協同設計45
3.3.1 與動作空間尺度一致45
3.3.2 以回報函數為中心46
3.4 狀態空間設計的四個步驟47
3.4.1 任務分析47
3.4.2 相關信息篩選49
3.4.3 泛化性考量53
3.4.4 效果驗證58
3.5 本章小結61
參考文獻62
第4章 回報函數設計64
4.1 回報函數設計：面向強化學習的編程64
4.2 稀疏回報問題65
4.2.1 孤獨無援的主線回報65
4.2.2 稀疏回報問題的本質66
4.3 輔助回報67
4.3.1 子目標回報67
4.3.2 塑形回報70
4.3.3 內驅回報76
4.3.4 回報取值的注意事項77
4.4 回報函數設計的常見陷阱78
4.4.1 魯莽79
4.4.2 貪婪80
4.4.3 懦弱82
4.5 很優回報問題83
4.6 基於學習的回報函數84
4.6.1 經典方法84
4.6.2 前沿方法85
4.7 本章小結87
參考文獻88
第5章 算法選擇92
5.1 算法選擇：拿來主義和改良主義92
5.1.1 DRL算法的發展脈絡92
5.1.2 一篩、二比、三改良94
5.1.3 從獨當一面到眾星捧月96
5.2 牢記經典勿忘本97
5.2.1 DQN98
5.2.2 DDPG99
5.2.3 A3C102
5.3 關注SOTA算法別留戀105
5.3.1 TD3105
5.3.2 SAC107
5.3.3 PPO110
5.4 其他算法112
5.5 本章小結113
參考文獻113
第6章 訓練調試119
6.1 訓練調試：此事要躬行119
6.2 訓練前的準備工作120
6.2.1 制定訓練方案120
6.2.2 選擇網絡結構124
6.2.3 隨機漫步128
6.2.4 數據預處理129
6.3 訓練進行時131
6.3.1 反脆弱：擁抱不確定性131
6.3.2 調節超參數134
6.3.3 監控訓練狀態143
6.4 給初學者的建議146
6.5 本章小結148
參考文獻149
第7章 性能衝刺154
7.1 性能衝刺：為DRL注入強心劑154
7.2 課程學習155
7.2.1 源任務及其分類155
7.2.2 應用方式157
7.3 額外監督信號162
7.3.1 有監督預訓練163
7.3.2 輔助任務164
7.4 進化策略169
7.4.1 基本原理169
7.4.2 關鍵細節170
7.4.3 應用方式174
7.5 本章小結175
參考文獻176

本書從工業界一線算法工作者的視角，對深度強化學習落地實踐中的工程經驗和相關方法論做出了深度思考和繫統歸納。本書跳出了原理介紹加應用案例的傳統敘述模式，轉而在橫向上對深度強化學習落地過程中的核心環節進行了完整復盤。主要內容包括需求分析和算法選擇的方法，動作空間、狀態空間和回報函數設計的理念，訓練調試和性能衝刺的技巧等。本書既是前人智慧與作者個人經驗的交叉印證和精心整合，又構成了從理論到實踐再到統一方法論的認知閉環，與市面上側重於算法原理和代碼實現的強化學習書籍形成了完美互補。

魏寧 著