譯者序
*2版前言
*1版前言
*1版致謝
*1章基礎知識  1
1.1概率測度  1
1.2隨機變量  2
1.2.1連續隨機變量和離散隨機變量  2
1.2.隨機變量的聯合分布  3
1.3條件分布  4
1.3.1貝葉斯法則  5
1.3.2獨立隨機變量與條件獨立隨機變量  6
1.3.3可交換的隨機變量  6
1.4隨機變量的期望  7
1.5模型  9
1.5.1參數模型與非參數模型  9
1.5.2模型推斷  10
1.5.3生成模型  11
1.5.4模型中的獨立性假定  13
1.5.5有向圖模型  13
1.6從數據場景中學習  15
1.7貝葉斯學派和頻率學派的哲學（冰山一角）  17
1.8本章小結  17
1.9習題  18
*2章緒論  19
2.1貝葉斯統計與自然語言處理的結合點概述  19
2.2*一個例子：隱狄利克雷分配模型  22
2.2.1狄利克雷分布  26
2.2.2推斷  28
2.2.3總結  29
2.3*二個例子：貝葉斯文本回歸  30
2.4本章小結  31
2.5習題  31
第3章先驗  33
3.1共軛先驗  33
3.1.1共軛先驗和歸一化常數  36
3.1.2共軛先驗在隱變量模型中的應用  37
3.1.3混合共軛先驗  38
3.1.4重新歸一化共軛分布  39
3.1.5是否共軛的討論  39
3.1.6總結  40
3.2多項式分布和類別分布的先驗  40
3.2.1再談狄利克雷分布  41
3.2.2Logistic正態分布  44
3.2.3討論  48
3.2.4總結  49
3.3非信息先驗  49
3.3.1均勻不正常先驗  50
3.3.2Jeffreys先驗  51
3.3.3討論  51
3.4共軛指數模型  52
3.5模型中的多參數抽取  53
3.6結構先驗  54
3.7本章小結  55
3.8習題  56
第4章貝葉斯估計  57
4.1隱變量學習：兩種觀點  58
4.2貝葉斯點估計  58
4.2.1*大後驗估計  59
4.2.2基於*大後驗解的後驗近似  64
4.2.3決策-理論點估計  65
4.2.4總結  66
4.3經驗貝葉斯  66
4.4後驗的漸近行為  68
4.5本章小結  69
4.6習題  69
第5章采樣算法  70
5.1MCMC算法：概述  71
5.2MCMC推斷的自然語言處理模型結構  71
5.3吉布斯采樣  73
5.3.1坍塌吉布斯采樣  76
5.3.2運算符視圖  79
5.3.3並行化的吉布斯采樣器  80
5.3.4總結  81
5.4Metropolis-Hastings算法  82
5.5切片采樣  84
5.5.1輔助變量采樣  85
5.5.2切片采樣和輔助變量采樣在自然語言處理中的應用  85
5.6模擬退火  86
5.7MCMC算法的收斂性  86
5.8馬爾可夫鏈：基本理論  88
5.9MCMC領域外的采樣算法  89
5.10蒙特卡羅積分  91
5.11討論  93
5.11.1分布的可計算性與采樣  93
5.11.2嵌套的MCMC采樣  93
5.11.3MCMC方法的運行時間  93
5.11.4粒子濾波  93
5.12本章小結  95
5.13習題  95
第6章變分推斷  97
6.1邊緣對數似然的變分界  97
6.2平均場近似  99
6.3平均場變分推斷算法  100
6.3.1狄利克雷-多項式變分推斷  101
6.3.2與期望*大化算法的聯繫  104
6.4基於變分推斷的經驗貝葉斯  106
6.5討論  106
6.5.1推斷算法的初始化  107
6.5.2收斂性診斷  107
6.5.3變分推斷在解碼中的應用  107
6.5.4變分推斷*小化KL散度  108
6.5.5在線的變分推斷  109
6.6本章小結  109
6.7習題  109
第7章非參數先驗  111
7.1狄利克雷過程：三種視角  112
7.1.1折棍子過程  112
7.1.2中餐館過程  114
7.2狄利克雷過程混合模型  115
7.2.1基於狄利克雷過程混合模型的推斷  116
7.2.2狄利克雷過程混合是混合模型的極限  118
7.3層次狄利克雷過程  119
7.4Pitman?Yor過程  120
7.4.1Pitman-Yor過程用於語言建模  121
7.4.2Pitman-Yor過程的冪律行為  122
7.5討論  123
7.5.1高斯過程  124
7.5.2印度自助餐過程  124
7.5.3嵌套的中餐館過程  125
7.5.4距離依賴的中餐館過程  125
7.5.5序列記憶器  126
7.6本章小結  126
7.7習題  127
第8章貝葉斯語法模型  128
8.1貝葉斯隱馬爾可夫模型  129
8.2概率上下文無關語法  131
8.2.1作為多項式分布集的PCFG  133
8.2.2PCFG的基本推斷算法  133
8.2.3作為隱馬爾可夫模型的PCFG  136
8.3貝葉斯概率上下文無關語法  137
8.3.1PCFG的先驗  137
8.3.2貝葉斯PCFG的蒙特卡羅推斷  138
8.3.3貝葉斯PCFG的變分推斷  139
8.4適配器語法  140
8.4.1Pitman-Yor適配器語法  141
8.4.2PYAG的折棍子視角  142
8.4.3基於PYAG的推斷  143
8.5層次狄利克雷過程PCFG  144
8.6依存語法  147
8.7同步語法  148
8.8多語言學習  149
8.8.1詞性標注  149
8.8.2語法歸納  151
8.9延伸閱讀  152
8.10本章小結  153
8.11習題  153
第9章表征學習與神經網絡  155
9.1神經網絡與表征學習：為什麼是現在  155
9.2詞嵌入  158
9.2.1詞嵌入的skip-gram模型  158
9.2.2貝葉斯skip-gram詞嵌入  160
9.2.3討論  161
9.3神經網絡  162
9.3.1頻率論估計和反向傳播算法  164
9.3.2神經網絡權值的先驗  166
9.4神經網絡在自然語言處理中的現代應用  168
9.4.1循環神經網絡和遞歸神經網絡  168
9.4.2梯度消失與梯度爆炸問題  169
9.4.3神經編碼器-解碼器模型  172
9.4.4卷積神經網絡  175
9.5調整神經網絡  177
9.5.1正則化  177
9.5.2超參數調整  178
9.6神經網絡生成建模  180
9.6.1變分自編碼器  180
9.6.2生成對抗網絡  185
9.7本章小結  186
9.8習題  187
結束語  189
附錄A基本概念  191
附錄B概率分布清單  197
參考文獻  203