●第1章強化學習簡介
1.1強化學習
1.2強化學習中的MDP
1.3強化學習中的學習函數
l.4深度強化學習算法
1.4.1基於策略的算法
1.4.2基於值的算法
1.4.3基於模型的算法
1.4.4組合方法
1.4.5本書中的算法
1.4.6同策略和異策略算法
1.4.7小結
1.5強化學習中的深度學習
1.6強化學習與監督學習
1.6.1缺乏先知
1.6.2反饋稀疏性
1.6.3數據生成
1.7總結
第一部分基於策略的算法和基於值的算法
第2章REINFORCE
2.1策略
2.2目標函數
2.3策略梯度
2.3.1策略梯度推導
2.4蒙特卡羅采樣
2.5REINFORCE算法
2.5.1改進的REINFORCE算法
2.6實現REINFORECE
2.6.1一種最小化RINFORCE的實現
2.6.2用PvTorch構建策略
2.6.3采樣動作
2.6.4計算策略損失
2.6.5REINFORCE訓練循環
2.6.6同策略內存回放
2.7訓練REINFORCE智能體
2.8實驗結果
2.8.1實驗:評估因子y的影響
2.8.2實驗:評估基準線的影響
2.9總結
2.10擴展閱讀
2.11歷史回顧
第3章SARSA
3.1Q函數和V函數
3.2時序差分學習
3.2.1時序差分學習示例
3.3sARsA中的動作選擇
3.3.1探索和利用
3.4SARSA算法
3.4.1同策略算法
3.5實現SARSA
3.5.1動作函數:□貪婪
3.5.2計算Q損失
3.5.3SARSA訓練循環
3.5.4同策略批處理內存回放
3.6訓練sARsA智能體
3.7實驗結果
3.7.1實驗:評估學習率的影響
3.8總結
3.9擴展閱讀
3.10歷史回顧
……
第二部分組合方法
第三部分實踐細節
第四部分環境設計
後記
附錄
參考文獻