（1）作者背景深厚：作者在某BAT大廠從事策略產品、數據產品、AB實驗等數據科學相關工作10餘年。（2）作者經驗豐富：作者負責了某BAT大廠AB實驗平臺的搭建、大量AB實驗產品的設計與分析，同時分析了國內外知名企業的優秀AB實驗實踐。（3）全面繫統、主次分明：本書涵蓋AB實驗理論、實踐的方方面面，重點放在對AB實驗關鍵環節的深入理解、關鍵問題的解決方案上，力爭把關鍵問題剖析到位，而不是面面俱到地泛泛而談。（4）案例豐富、算例清晰：重要知識點都配有翔實的行業案例，幫助讀者通過應用場景理解AB等

●前言
第一部分了解AB實驗
第1章AB實驗的基本原理和應用002
1.1什麼是AB實驗002
1.1.1AB實驗的定義002
1.1.2AB實驗的類型004
1.2AB實驗的3個基本要素005
1.2.1實驗005
1.2.2實驗控制參數007
1.2.3實驗指標008
1.3AB實驗的2個核心價值009
1.3.1定性因果：驗證因果關繫，確保方向正確009
1.3.2定量增長：實踐數據驅動，精細成本收益012
1.4AB實驗的2個關鍵特性015
1.5AB實驗行業應用016
1.5.1AB實驗應用場景016
1.5.2AB實驗應用案例018
第二部分深入AB實驗
第2章AB實驗的關鍵問題026
2.1實驗參與對像的3個問題027
2.2實驗隨機分流的3個問題027
2.3實驗指標的2個問題028
2.4實驗分析和評估的3個問題028
第3章AB實驗的統計學知識031
3.1隨機抽樣和抽樣分布032
3.2區間估計和置信區間037
3.3樣本容量和邊際誤差038
3.3.1均值類指標038
3.3.2比率類指標040
3.4假設檢驗041
3.4.1為什麼需要假設檢驗041
3.4.2如何進行假設檢驗042
3.4.3第一類錯誤、第二類錯誤和功效047
3.4.4如何計算功效049
3.5非參數檢驗051
3.6方差估計問題052
3.6.1變化絕對差和相對差的方差估計053
3.6.2比率類指標的方差估計054
3.6.3其他指標的方差估計055
3.6.4異常點對方差估計的影響055
3.7多重測試問題056
3.7.1什麼是多重測試問題056
3.7.2如何避免多重測試056
3.7.3如何控制多重測試問題058
第4章AB實驗061
4.1實驗的選擇061
4.1.1常見的實驗062
4.1.2實驗粒度與實驗評估066
4.1.3用戶級別的實驗067
4.2實驗的SUTVA問題070
4.2.1什麼是SUTVA070
4.2.2為什麼需要讓SUTVA成立071
4.2.3導致SUTVA不成立的原因073
4.2.4如何解決SUTVA不成立的問題075
4.3最小實驗數量079
第5章AB實驗的隨機分流083
5.1單層分流模式083
5.2正交分層模式084
5.2.1正交性問題085
5.2.2分層問題087
5.3散列算法089
第6章AB實驗的SRM問題092
6.1什麼是SRM問題092
6.2導致SRM問題的原因093
6.2.1部署階段093
6.2.2執行階段097
6.2.3數據處理和分析階段098
6.3SRM指標計算和定位099
6.3.1SRM指標計算099
6.3.2定位SRM問題099
第7章AA實驗101
7.1AA實驗的意義101
7.1.1控制第一類錯誤102
7.1.2確保用戶同質104
7.1.3數據指標對齊105
7.1.4估計統計方差106
7.2如何運行AA實驗108
7.2.1什麼時候運行AA實驗108
7.2.2AA實驗失敗的常見原因110
第8章AB實驗的靈敏度112
8.1什麼是實驗靈敏度112
8.2如何提升實驗靈敏度113
8.3選擇指標114
8.3.1選擇方差較小的評估指標114
8.3.2標準化評估指標115
8.4選擇實驗參與對像116
8.4.1采用更細粒隨機化對像116
8.4.2使用觸發分析116
8.5選擇實驗分組117
8.5.1使用分層、控制變量或CUPED方法117
8.5.2設計配對實驗119
8.6定向觸發技術和評估119
8.6.1觸發的方式120
8.6.2觸發範圍變化121
8.6.3觸發實驗的分析123
8.6.4觸發檢驗125
8.6.5觸發技術的局限性125
8.7如何驗證實驗靈敏度的提升127
第9章AB實驗的長期影響129
9.1長短期影響不一致的原因130
9.2評估長期影響的意義133
9.3如何評估長期影響134
9.3.1長周期實驗134
9.3.2保留實驗和反轉實驗136
9.3.3後期分析法137
9.3.4時間交錯實驗法139
9.3.5固定群組分析法140
9.3.6長期影響的代理指標法141
第三部分AB實驗評估指標體繫
第10章產品指標體繫145
10.1什麼是指標體繫145
10.2設計指標146
10.2.1基於OKR的分級法147
10.2.2OSM模型法153
10.2.3指標設計和開發技巧154
10.3評估指標156
10.3.1信息增益156
10.3.2因果關繫158
10.3.3長期有效性158
10.4進化指標159
10.5指標分類162
10.6指標體繫設計案例165
第11章實驗評估指標體繫169
11.1實驗評估指標的3個基本條件169
11.2選擇更好的實驗評估指標170
11.2.1綜合指向性與靈敏性170
11.2.2從業務視角出發172
11.2.3考慮應用和工程174
11.3將關鍵指標合並為OEC175
11.3.1如何建立OEC176
11.3.2OEC的關鍵屬性179
11.3.3構建OEC的注意事項179
11.3.4構建OEC的案例180
第四部分AB實驗的基礎建設
第12章開展AB實驗的基礎條件187
12.1決策層認知187
12.2基礎工具建設188
12.2.1購買外部服務189
12.2.2自建平臺190
12.3文化制度建設191
第13章AB實驗平臺的建設192
13.1AB實驗平臺架構193
13.2實驗管理功能194
13.2.1實驗創建管理195
13.2.2實驗配置管理196
13.2.3實驗操作管理197
13.2.4實驗權限管理198
13.3實驗部署功能199
13.3.1流量分配大小200
13.3.2流量分配時機202
13.3.3實驗放量節奏203
13.3.4不同類型實驗的部署205
13.3.5實驗部署中的其他問題209
13.4實驗數據處理和分析211
13.4.1數據源212
13.4.2數據處理214
13.4.3指標定義和數據計算215
13.4.4數據可視化219
13.4.5數據分析221
13.5AB實驗服務通用框架221
第14章實驗組織和文化建設224
14.1決策層的支持與參與226
14.2實驗專家團隊的帶領與教育228
14.3業務團隊實驗骨干的深入與傳遞229
14.4全體參與和擴大影響231
14.5國內AB實驗的開展情況233
14.6實驗成熟度模型236
第五部分基於AB實驗的增長實踐
第15章構建想法：形成產品假設240
15.1產品策劃找方向240
15.2數據洞察找瓶頸245
第16章驗證想法：AB實驗實踐252
16.1實驗假設252
16.1.1目標性252
16.1.2可歸因253
16.1.3可復用254
16.2實驗設計255
16.2.1實驗樣本選擇255
16.2.2實驗指標設計257
16.2.3實驗流量計算258
16.2.4實驗周期預估260
16.3實驗運行261
16.3.1實驗上線261
16.3.2實驗停止263
16.3.3實驗放量265
16.4實驗分析和理解266
16.4.1明確實驗影響範圍266
16.4.2確保實驗對比人群具有可對比性270
16.4.3實驗影響評估：先總後分、從主到次272
16.4.4通過維度細分發現問題273
16.4.5理解實驗統計學含義275
16.4.6解讀數據背後的產品邏輯277
16.5實驗決策278
16.5.1從分析到決策278
16.5.23種實驗結果282
16.5.3實驗報告284
第17章沉澱想法：實驗記憶285
17.1什麼是實驗沉澱285
17.2實驗沉澱的價值286
17.2.1發現策略通用性286
17.2.2從失敗中尋找機會289
17.2.3發揚實驗文化290
17.2.4幫助理解指標290
17.3如何進行實驗沉澱291
第18章基於AB實驗的增長實踐解決方案293
18.1角色分工方案295
18.2數據建設方案295
18.3效果評估方案297
第六部分AB實驗的局限與補充
第19章AB實驗的局限性303
19.1戰略創新層面303
19.2戰術執行層面305
第20章AB實驗之外的因果分析方法309
20.1匹配法310
20.1.1匹配法的基本步驟310
20.1.2傾向性得分方法313
20.2工具變量法314
20.2.1什麼是工具變量314
20.2.2案例1：教育、參軍對收入的影響316
20.2.3案例2：內容發布者與用戶活躍度的關繫317
20.3面板數據法317
20.4中斷時間序列法319
20.5斷點回歸法320
20.6增益模型322
第21章常用的用戶調查分析方法325
21.1用戶日志分析326
21.2調查問卷328
21.3焦點小組329
21.4用戶體驗研究330
21.5人工評測330
21.6外部數據332

本書是AB實驗領域的標準化著作，它將帶領你快速理解AB實驗原理、掌握AB實驗方法、搭建AB實驗平臺、塑造基於數據和實驗的企業文化，高效開展AB實驗、實現用AB實驗驅動增長。通過本書的深入學習，你將成為為一個實驗領域的專家，接近可以處理常規的AB實驗中的大部分問題，幫助你更好地迭代產品，實現產品的優化和業務的增長。