程瑋琪所著的《馬爾可夫鏈--模型算法與應用》
講述了馬爾可夫鏈模型在排隊繫統、網頁重要性排名
、制造繫統、再制造繫統、庫存繫統以及金融風險管
理等方面的最新應用進展。全書共安排8章內容，第1
章介紹馬爾可夫鏈、隱馬爾可夫模型和馬爾可夫決策
過程的基本理論和方法，其餘7章分別介紹馬爾可夫
鏈模型在不同領域中的應用。
本書可作為自動化、工業工程、統計學、應用數
學以及管理學等專業高年級本科生或研究生的專業課
教材，也可作為相關領域的研究人員及工程技術人員
的參考書。

第1章 緒論
1.1 馬爾可夫鏈
1.1.1 馬爾可夫鏈的例子
1.1.2 n步轉移矩陣
1.1.3 不可約馬爾可夫鏈與狀態的分類
1.1.4 對隨機遊走的分析
1.1.5 用Excel對馬爾可夫鏈仿真
1.1.6 建立馬爾可夫鏈模型
1.1.7 有限馬爾可夫鏈的平穩分布
1.1.8 平穩分布的應用
1.2 連續時間馬爾可夫鏈
1.2.1 兩個狀態的連續時間馬爾可夫鏈
1.3 求解線性繫統的迭代法
1.3.1 有關矩陣理論的一些結論
1.3.2 矩陣分裂
1.3.3 經典的迭代法
1.3.4 譜半徑
1.3.5 逐次超松弛方法
1.3.6 共軛梯度法
1.3.7 特普利茨矩陣
1.4 隱馬爾可夫模型
1.5 馬爾可夫決策過程
1.5.1 平穩策略
1.6 習題
第2章 排隊繫統與網絡
2.1 馬爾可夫排隊繫統
2.1.1 M/M/1/n-2 排隊繫統
2.1.2 M/M/s/n-s-1 排隊繫統
2.1.3 M/M/1/∞ 隊列繫統中到達顧客的分配
2.1.4 兩個M/M/1隊列還是單個M/M/2隊列?
2.1.5 兩隊列自由獨立繫統
2.1.6 兩隊列溢流繫統
2.1.7 復雜排隊繫統的預處理
2.2 搜索引擎
2.2.1 PageRank算法
2.2.2 乘冪法
2.2.3 例子
2.2.4 逐次超松弛/雅可比超松弛法與混合方法
2.2.5 收斂性分析
2.3 總結
2.4 習題
第3章 制造與再制造繫統
3.1 引言
3.2 制造繫統
3.2.1 機器可靠的制造繫統
3.3 退貨的庫存模型
3.4 橫向轉運模型
3.5 混合再制造繫統
3.5.1 混合繫統
3.5.2 繫統的生成矩陣
3.5.3 直接方法
3.5.4 計算的成本
3.5.5 特殊情況分析
3.6 總結
3.7 習題
第4章 客戶分類的隱馬爾可夫模型
4.1 引言
4.1.1 簡單的例子
4.2 參數估計
4.3 方法的推廣
4.4 特殊情況的分析
4.5 隱馬爾可夫模型在客戶分類中的應用
4.6 總結
4.7 習題
第5章 客戶終身價值的馬爾可夫決策過程
5.1 引言
5.2 客戶行為的馬爾可夫鏈模型
5.2.1 轉移概率的估計
5.2.2 保留概率與客戶終身價值
5.3 隨機動態規劃模型
5.3.1 無窮視野無約束
5.3.2 有限視野硬約束
5.3.3 無窮視野有約束
5.4 推廣到多周期促銷
5.4.1 隨機動態規劃模型
5.4.2 無窮視野無約束
5.4.3 有限視野硬約束
5.5 高階馬爾可夫決策過程
5.5.1 平穩策略
5.5.2 在客戶終身價值計算中的應用
5.6 總結
5.7 習題
第6章 高階馬爾可夫鏈
6.1 引言
6.2 高階馬爾可夫鏈
6.2.1 新模型
6.2.2 參數估計
6.2.3 例子
6.3 一些應用
6.3.1 銷售需求數據
6.3.2 網頁預測
6.4 模型的擴展
6.5 報童問題
6.5.1 報童問題的馬爾可夫鏈模型
6.5.2 數值例子
6.6 風險管理的高階馬爾可夫體制轉換模型
6.6.1 馬爾可夫體制轉換模型簡介
6.6.2 基於高階馬爾可夫體制轉換模型的風險管理的框架
6.6.3 風險價值預測
6.7 總結
6.8 習題
第7章 多元馬爾可夫鏈
7.1 引言
7.2 多元馬爾可夫鏈模型的構造
7.2.1 模型參數的估計
7.2.2 例子
7.3 在多種產品需求估計中的應用
7.4 在信用評級模型中的應用
7.4.1 信用轉移矩陣
7.5 擴展到高階多元馬爾可夫鏈
7.6 改進的多元馬爾可夫鏈及其在信用評級中的應用
7.6.1 模型的收斂性質
7.6.2 模型參數的估計
7.6.3 實際實施、精度和計算效率
7.7 總結
7.8 習題
第8章 隱馬爾可夫鏈
8.1 引言
8.2 高階隱馬爾可夫模型
8.2.1 問題1
8.2.2 問題2
8.2.3 問題3
8.2.4 期望*大化算法
8.2.5 高階隱馬爾可夫模型的啟發式方法
8.3 雙重高階隱馬爾可夫模型
8.4 交互隱馬爾可夫模型
8.4.1 例子
8.4.2 參數估計
8.4.3 擴展到一般情況
8.5 由交互隱馬爾可夫模型調制的組合信用風險的二項展開模型
8.5.1 例子
8.5.2 由交互隱馬爾可夫模型調制的二項展開模型的估計
8.5.3 數值例子與比較
8.6 總結
8.7 習題
參考文獻
索引