●本書贊譽
譯者序
前言——如何閱讀本書
致謝
第一部分 線上對照實驗概覽
第1章 概述和寫作動機
1.1 線上對照實驗的術語
1.2 為什麼進行實驗？相關性、因果關繫和可信賴度
1.3 有效運行對照實驗素
1.4 宗旨
1.5 隨時間推移的改進
1.6 有趣的線上對照實驗實例
1.7 戰略、戰術及它們和實驗的關繫
1.8 補充閱讀
第2章 運行和分析實驗——一個全程剖析的案例
2.1 設立實驗
2.2 假設檢驗：確立統計顯著性
2.3 設計實驗
2.4 運行實驗並獲得數據
2.5 分析結果
2.6 從結果到決策
第3章 特威曼定律與實驗的可信賴度
3.1 曲解統計結果
3.2 置信區間
3.3 對內部有效性的威脅
3.4 對外部有效性的威脅
3.5 細分群的差異
3.6 辛普森悖論
3.7 鼓勵健康的懷疑態度
第4章 實驗平臺和文化
4.1 實驗成熟度模型
4.2 基礎設施和工具
第二部分 基礎原理
第5章 速度很重要：一個全程案例剖析
5.1 關鍵假設：局部線性近似
5.2 如何測量網站的性能
5.3 減速實驗的設計
5.4 對不素的影響是不同的
5.5 特別結果
第6章 機構指標
6.1 指標的分類
6.2 指標的制定：原則和技術
6.3 指標的評估
6.4 指標的演變
6.5 更多的資源
6.6 補充材料：護欄指標
6.7 補充材料：可操縱性
第7章 實驗指標和綜合評估標準
7.1 從業務指標到適用於實驗的指標
7.2 將關鍵指標組合成一個OEC
7.3 案例：亞馬遜電子郵件的OEC
7.4 案例：必應搜索引擎的OEC
7.5 Goodhart法則、Campbell法則以及Lucas批判
第8章 機構的經驗傳承與統合分析
8.1 什麼是機構的經驗傳承
8.2 為什麼機構的經驗傳承有用
第9章 對照實驗中的倫理
9.1 背景
9.2 數據收集
9.3 文化與流程
9.4 補充材料：用戶標識符
第三部分 補充及替代技法
第10章 補充技法
10.1 補充技法的空間
10.2 基於日志的分析
10.3 人工評估
10.4 用戶體驗調研
10.5 焦點小組
10.6 問卷調查
10.7 外部數據
10.8 總結
第11章 觀察性因果研究
11.1 對照實驗不可行的情況
11.2 觀察性因果研究的設計
11.3 陷阱
11.4 補充材料：被駁斥的觀察性因果研究
第四部分 實驗平臺搭建
第12章 客戶端實驗
12.1 服務器端和客戶端的差異
12.2 對實驗的潛在影響
12.3 結論
第13章 工具化日志記錄
13.1 客戶端與服務器端的工具化日志記錄
13.2 處理多源的日志
13.3 工具化日志記錄的文化
第14章 選擇隨
14.1 隨和
14.2 用戶級別的隨機化
第15章 實驗放量：權衡速度、質量與風險
15.1 什麼是放量
15.2 SQR放量框架
15.3 四個放量階段
15.4 最終放量之後
第16章 規模化實驗分析
16.1 數據處理
16.2 數據計算
16.3 結果彙總和可視化
第五部分 實驗分析
第17章 線上對照實驗中的統計學知識
17.1 雙樣本t檢驗
17.2 p值和置信區間
17.3 正態性假設
17.4 第一/二型錯誤和統計功效
17.5 偏差
17.6 多重檢驗
17.7 費舍爾統合分析
第18章 方差估計和提高靈敏度：陷阱及解決方法
18.1 常見陷阱
18.2 提高靈敏度
18.3 其他統計量的方差
第19章 A/A測試
19.1 為什麼運行A/A測試
19.2 如何運行A/A測試
19.3 A/A測試失敗時
第20章 以觸發來提高實驗靈敏度
20.1 觸發示例
20.2 數值示例
20.3 很好的和保守的觸發
20.4 總體實驗效應
20.5 可信賴的觸發
20.6 常見的陷阱
20.7 開放性問題
第21章 樣本比率不匹配與其他可信度相關的護欄指標
21.1 樣本比率不匹配
21.2 調試SRM
第22章 實驗變體之間的洩露和干擾
22.1 示例
22.2 一些實際的解決方案
22.3 檢測和監控干擾
第23章 測量實驗的長期效應
23.1 什麼是長期效應
23.2 短期效應和長期效應可能不同的原因
23.3 為什麼要測量長期效應
23.4 長期運行的實驗
23.5 長期運行實驗的替代方法
參考文獻
索引

獲得數據很容易，獲得可信賴的數據卻很困難。由微軟、谷歌和領英的實驗領導者編寫的這本實用指南將教你如何使用可信賴的線上對照實驗（也就是A/B測試）加速創新。根據每家公司每年運行的兩萬多個對照實驗，作者以示例和建議的方式向學生和業內人士分享了自己的實踐經驗，指出了需要避免的陷阱，並深入探討了一些進階專題，可以為希望改善自身及機構數據驅動決策方式的從業者提供參考。