本書繫統性介紹動態規劃，特別是近似動態規劃，包括問題的理論與計算方法、隨機最短路問題、無問題、平均費用問題、與無問題的近似動態規劃等。

●第1章 問題——理論1
1.1 總費用最小化——介紹1
1.1.1 有限階段動態規劃算法3
1.1.2 符號簡寫與單調性4
1.1.3 無窮階段結果的預覽6
1.1.4 隨機的和依賴歷史的策略7
1.2 問題——各階段費用有界9
1.3 調度與多柄老虎機問題15
1.3.1 項目的指標16
1.3.2 項目逐個退出策略17
1.4 連續時間問題23
1.5 壓縮映射的作用32
1.5.1 極大模壓縮33
1.5.2 問題——單階段費用無界38
1.6 動態規劃的一般形式40
1.6.1 壓縮與單調性的基本結論44
1.6.2 動態博弈49
1.7 注釋、參考文獻及習題50
習題51
第2章 問題——計算方法57
2.1 馬爾可夫決策問題57
2.2 值迭代59
2.2.1 值迭代的單調誤差界59
2.2.2 值迭代的變形65
2.2.3 Q-學習67
2.3 策略迭代69
2.3.1 針對費用的策略迭代69
2.3.2 Q-因子的策略迭代72
2.3.3 樂觀策略迭代73
2.3.4 有限前瞻策略和滾動75
2.4 線性規劃方法79
2.5 一般問題的方法81
2.5.1 采用近似的有限前瞻策略83
2.5.2 推廣的值迭代85
2.5.3 近似值迭代86
2.5.4 推廣的策略迭代87
2.5.5 推廣的樂觀策略迭代90
2.5.6 近似策略迭代94
2.5.7 數學規劃97
2.6 異步方法98
2.6.1 異步值迭代98
2.6.2 異步策略迭代102
2.6.3 具有均一不動點的策略迭代105
2.7 注釋、資源和習題110
習題112
第3章 隨機最短路問題122
3.1 問題建模122
3.2 主要結論124
3.3 基本壓縮性質130
3.4 值迭代131
3.4.1 有限步終止的條件131
3.4.2 異步值迭代133
3.5 策略迭代134
3.5.1 樂觀策略迭代135
3.5.2 近似策略迭代136
3.5.3 具有不合適策略的策略迭代137
3.5.4 具有均一不動點的異步策略迭代140
3.6 可數狀態問題143
3.7 注釋、資源和習題145
習題146
第4章 無問題151
4.1 每階段的費用無界151
4.1.1 主要結論152
4.1.2 值迭代158
4.1.3 其他計算方法163
4.2 線性繫統和二次費用163
4.3 庫存控制165
4.4 很優停止167
4.5 很優博弈策略171
4.6 連續時間問題——排隊的控制177
4.7 非平穩和周期性問題183
4.8 注釋、資源和習題187
習題188
第5章 每階段平均費用問題196
5.1 有限空間平均費用模型196
5.1.1 與費用問題的關繫198
5.1.2 Blackwell 很優策略203
5.1.3 很優性條件210
5.2 所有初始狀態的平均費用相等的條件213
5.3 值迭代217
5.3.1 單鏈值迭代219
5.3.2 多鏈值迭代231
5.4 策略迭代236
5.4.1 單鏈策略迭代236
5.4.2 多鏈策略迭代240
5.5 線性規劃244
5.6 無窮空間平均費用模型248
5.6.1 很優性的充分條件254
5.6.2 有限狀態空間和無限控制空間255
5.6.3 可數狀態——消失的方法262
5.6.4 可數狀態——壓縮方法264
5.6.5 具有二次費用的線性繫統267
5.7 注釋、資源和習題268
習題270
第6章 近似動態規劃：模型279
6.1 基於仿真的費用近似的一般性問題280
6.1.1 近似結構280
6.1.2 基於仿真的近似策略迭代284
6.1.3 直接和間接近似288
6.1.4 蒙特卡羅仿真289
6.1.5 簡化295
6.2 直接策略評價——梯度法298
6.3 策略評價的投影方程方法302
6.3.1 投影貝爾曼方程303
6.3.2 投影方程的矩陣形式305
6.3.3 基於仿真的估計方法308
6.3.4 LSTD、LSPE 和TD(0) 方法310
6.3.5 樂觀版本312
6.3.6 多步基於仿真的方法313
6.3.7 提要320
6.4 策略迭代問題322
6.4.1 基於幾何采樣的搜索增強324
6.4.2 基於離線策略方法的搜索增強332
6.4.3 策略振蕩——震顫334
6.5 聚集方法339
6.5.1 基於聚集問題的費用近似344
6.5.2 通過增廣問題的費用近似346
6.5.3 多步聚集350
6.5.4 異步分布聚集351
6.6 Q-學習353
6.6.1 Q-學習：隨機值迭代算法353
6.6.2 Q-學習和策略迭代355
6.6.3 Q-因子近似和投影方程356
6.6.4 很優停止問題的Q-學習358
6.6.5 Q-學習和聚集362
6.6.6 有限階段Q-學習364
6.7 注釋、資源和習題365
習題370
第7章 近似動態規劃：無模型及推廣380
7.1 隨機最短路問題380
7.2 平均費用問題384
7.2.1 近似策略評價384
7.2.2 近似策略迭代391
7.2.3 平均費用問題的Q-學習392
7.3 一般問題和蒙特卡羅線性代數395
7.3.1 投影方程401
7.3.2 矩陣逆合迭代方法406
7.3.3 多步方法412
7.3.4 很優停止的Q-學習的推廣418
7.3.5 方程誤差方法420
7.3.6 傾斜投影424
7.3.7 推廣聚集426
7.3.8 奇異線性繫統的確定性方法428
7.3.9 奇異線性繫統的隨機方法436
7.4 在策略空間的近似445
7.4.1 梯度公式445
7.4.2 通過仿真計算梯度446
7.4.3 梯度評價的關鍵特征448
7.4.4 策略和值空間的近似450
7.5 注釋、資源和習題450
習題453
附錄A 動態規劃中的測度論問題460
A.1 兩階段例子460
A.2 可測問題的解決方法463
參考文獻470



??

??

??

本書繫統性介紹動態規劃，特別是近似動態規劃，包括問題的理論與計算方法、隨機最短路問題、無問題、平均費用問題、與無問題的近似動態規劃等。