了得網管理_A/B測試：創新始於試驗

編輯推薦

王曄博士率先將硅谷先進的A/B測試理論、方法與技術引入中國，探索中國特色的試驗創新之路。
有理論，有作戰計劃，有行業、場景和人群的完整解決方案，更有開拓思路的案例和總結。
快速上手的模板，讓你放下書知道應該做什麼，從哪做起。
全彩印刷，160幅精美圖片，閱讀體驗好，便於了解細節。

內容簡介

我們如今看到的各種互聯網產品的改版以及創新，其背後都離不開許多上市之前的試驗工作，其中被互聯網、移動互聯網行業廣泛應用的試驗方法是A/B測試。A/B測試的本質是試驗，作為一種新興的網頁優化方法，通過對比試驗增加轉化率和注冊率，帶來產品和運營的創新，以實現各項指標的增長，如今它更是增長黑客所的核心思維方式和工作方法。在流量日漸昂貴、精細化運營的大環境下，互聯網產品、運營和市場營銷人員需要具有A/B測試思維，以測試結果為依據做決策，優化頁面，提高轉化率，迭代產品。

本書作者因在谷歌總部工作時發現了A/B測試的巨大作用而回國創業，並將自己對試驗的理解和多年的經驗進行梳理，在書中介紹了試驗的本質、A/B測試的概念和價值、 A/B測試的方法論和實戰步驟，以及電商、金融、教育、旅遊、快消品、UGC、PGC、媒體網站、SaaS等行業的應用案例，著陸頁、App、網站、服務器端和推薦算法等不同場景的優化案例，還有針對決策者、產品經理、互聯網運營、市場營銷和工程師的案例。

作者簡介

王曄（Sando Wang），吆喝科技公司創始人，清華大學電子工程繫碩士、耶魯大學計算機科學博士學位，中國互聯網試驗創新領域布道師，“中國創新創業大賽”與“ 創業大賽”雙料冠軍獲得者。先後就職於NEC、微軟、谷歌等國際知名公司，任職期間負責 P2P 流媒體優化、P4P/ALTO、Google Adwords 質量與移動廣告新產品等前沿項目的設計、開發及優化工作，積累了大量試驗創新的理論和實戰經驗。歷任IEEE移動計算、GLOBECOM互聯網協議與車輛技術評審專家，ACM外部審核專家，2009年對等網絡國際研討會專家組成員，超現代化的通信和控制繫統2010、2011年國際會議TPC專家組成員。

王曄於2014年創立吆喝科技公司，率先將硅谷先進的 A/B 測試理論、方法與技術引入中國，與國內外企業一同探索中國特色的試驗創新之路。目前，吆喝科技公司已經幫助數千家企業用戶成功運行數萬組試驗，並榮獲融資中國2017—2018年度人工智能及大數據產業“ 具投資價值公司”稱號、2018年盛景全球創新大獎TOP20等獎項。

目錄
贊譽
前言試驗不息創新不止
第 1章數據驅動是試驗本質 // 1
1.1生活處處有試驗 // 1
1.1.1“鳥”生浮沉啟示錄：達爾文雀的自然進化試驗 // 1
1.1.2林德試驗：現代醫學離不開 A/B 測試 // 6
1.1.3潔面霜賣點效應：現代廣告史就是試驗發展史 // 9
1.2數據分析與試驗 // 11
1.2.1數據不隻是數字堆疊 // 12
1.2.2後驗數據分析的局限：數據的“漂亮”與“丑陋”// 13
1.2.3試驗：數據驅動業務增長的力量 // 15
1.3試驗的思維 // 17
1.3.1快速試錯的互聯網思維 // 17目錄
贊譽
前言試驗不息創新不止
第 1章數據驅動是試驗本質 // 1
1.1生活處處有試驗 // 1
1.1.1“鳥”生浮沉啟示錄：達爾文雀的自然進化試驗 // 1
1.1.2林德試驗：現代醫學離不開 A/B 測試 // 6
1.1.3潔面霜賣點效應：現代廣告史就是試驗發展史 // 9
1.2數據分析與試驗 // 11
1.2.1數據不隻是數字堆疊 // 12
1.2.2後驗數據分析的局限：數據的“漂亮”與“丑陋”// 13
1.2.3試驗：數據驅動業務增長的力量 // 15
1.3試驗的思維 // 17
1.3.1快速試錯的互聯網思維 // 17
1.3.2試驗驅動創新，創業依賴試驗 // 19
1.3.3依賴試驗的增長黑客 // 21
1.4試驗驅動業務增長 // 23
1.4.1試驗讓低成本探索成為可能 // 23
1.4.2試驗驅動增長無處不在 // 25
1.4.3試驗的頻率決定發展的速度 // 26
1.4.4新時代，試驗文化正當時 // 28
第 2章A/B測試是成功的試驗方法 // 31
2.1互聯網時代的 A/B測試 // 31
2.1.1谷歌引領的 A/B測試潮流 // 32
2.1.2微軟、亞馬遜、臉書的經驗 // 33
2.1.3新生代 Airbnb的融會貫通 // 36
2.1.4A/B測試是優秀企業的標配 // 41
2.2深入解析 A/B測試 // 42
2.2.1A/B測試的定義 // 42
2.2.2A/B測試的特性 // 43
2.2.3A/B 測試的試驗類型 // 45
2.2.4“偽”A/B測試 // 46
2.2.5A/B 測試的統計學原理 // 51
第 3章A/B測試的作戰計劃 // 63
3.1試驗的戰略制定 // 63
3.1.1明確戰略目標 // 63
3.1.2制定戰略路線圖 // 64
3.1.3管理試驗項目 // 68
3.1.4搭建試驗的基礎設施 // 70
3.2試驗的戰術執行 // 72
3.2.1探索、驗證閉環：試驗驅動業務優化的流程 // 73
3.2.2試驗方案設計 // 78
3.2.3試驗的優先級排序 // 82
3.2.4高頻試驗管理 // 85
3.3快速上手一個試驗 // 87
3.3.1收集數據，發現問題 // 88
3.3.2建立試驗目標 // 90
3.3.3提出試驗假設 // 91
3.3.4運行試驗，驗證假設 // 93
3.3.5分析試驗數據，做出決策 // 94
3.3.6積跬步至千裡，持續優化是關鍵 // 95
3.4實戰：從零開始一次 A/B測試 // 96
第 4章A/B測試的完整解決方案 // 110
4.1行業： A/B測試在各行業的應用 // 110
4.1.1電商經典案例 // 110
4.1.2金融經典案例 // 113
4.1.3教育經典案例 // 115
4.1.4旅遊經典案例 // 117
4.1.5消費品牌經典案例 // 120
4.1.6其他行業（UGC、PGC、媒體網站、SaaS）// 124
4.2場景： A/B 測試在各種業務場景中的應用 // 132
4.2.1著陸頁優化 // 133
4.2.2App優化 // 139
4.2.3網站體驗優化 // 145
4.2.4技術優化 // 148
4.2.5算法優化 // 151
4.2.6基於 A/B測試的高效科學運營繫統 // 154
4.3人群： A/B測試是創新人纔的技能 // 156
4.3.1決策 // 157
4.3.2產品 // 160
4.3.3運營 // 166
4.3.4市場 // 172
4.3.5技術 // 174
第 5章試驗星火，終會燎原 // 178
5.1人工智能 // 179
5.2新零售 // 182
5.3AR、VR、新硬件 // 184
5.4區塊鏈 // 186
5.5智慧城市 // 187
附錄 // 191
附錄 AAARRR模型的介紹 // 191
附錄 BA/B測試術語表 // 194
附錄 CA/B測試需求分析模板 // 202
附錄 D試驗檔案表格 // 203
附錄 E快速上手一個試驗模板 // 204
掃封面上作者簡介處的二維碼，可免費獲取書中所有模板。

前言

前言試驗不息創新不止

1. 從一個故事說起
2013年的一天早上，我在谷歌（ Google）總部廣告質量部門的辦公室裡盯著顯示器上的圖表，站在我身旁的是穿著正式的廣告產品經理。“以現在的試驗數據來看，我們申請把流量推上 20%吧？”“先看看美國地區的細分結果。”類似這樣的嚴肅討論幾乎天天都在發生，在我的辦公室內發生，也幾乎在每一個其他小團隊的辦公室裡發生。
你可能想問，這樣的對話到底是在討論什麼？當時我們團隊正在用 A/B測試的方法來進行一個線上試驗。我們需要每天（有時候每小時）觀察試驗數據，做出項目的下一步決策，如果這個決策的影響可能會比較重大，例如將影響谷歌 20%的用戶，那麼我們需要向上級領導彙報以得到其支持。前言試驗不息創新不止

1. 從一個故事說起
2013年的一天早上，我在谷歌（ Google）總部廣告質量部門的辦公室裡盯著顯示器上的圖表，站在我身旁的是穿著正式的廣告產品經理。“以現在的試驗數據來看，我們申請把流量推上 20%吧？”“先看看美國地區的細分結果。”類似這樣的嚴肅討論幾乎天天都在發生，在我的辦公室內發生，也幾乎在每一個其他小團隊的辦公室裡發生。
你可能想問，這樣的對話到底是在討論什麼？當時我們團隊正在用 A/B測試的方法來進行一個線上試驗。我們需要每天（有時候每小時）觀察試驗數據，做出項目的下一步決策，如果這個決策的影響可能會比較重大，例如將影響谷歌 20%的用戶，那麼我們需要向上級領導彙報以得到其支持。
我們做的試驗源於一個大膽的想法，這個想法來自搜索部門的產品經理：搜索產品時試著把谷歌搜索結果（包括廣告）裡的 URL換成結構化的域名，例如把“ http://www.appadhoc.com/lpo”換成“ AppAdhoc.com > LPO”，這麼做會不會提升用戶瀏覽搜索結果的效率從而提升用戶的廣告點擊率呢？這樣的事情從來沒有人做過，包括谷歌的競爭對手們也沒有做過。這樣的改動用戶會喜愛嗎？這樣做會不會讓用戶更容易找到想要的搜索結果？有可能，但也不一定，答案似乎見仁見智。沒有人能預測這個項目會不會有收益，更沒法預測具體會給廣告營收帶來 1%的影響還是 10%、0.1%，或者沒有任何影響。
如果按照“傳統”的企業決策流程，產品經理將圍繞這個想法做一些用戶調研，然後將項目彙報給領導，如果領導認為這個想法值得一試（很多情況下領導會勸產品經理放棄），會組織會議進行討論，因為會議上有人喜歡這個想法，而有人不喜歡，終的會議決議可能會放棄這個想法。
谷歌的做法不一樣，產品經理將想法口述給領導，領導同意運行一個“2%流量”的試驗。技術團隊花了幾天時間完成了研發和測試，試驗很快就上線了。 2%的搜索流量被采樣進入試驗，其中 1%的用戶作為對照組會看到 URL（如 http://www.appadhoc.com/lpo），另外 1%的用戶作為試驗組會看到域名（如 AppAdhoc.com > LPO）。這兩組用戶的廣告點擊率被準確地采樣統計，然後對比分析，得出實時的試驗結果。試驗結果不是很顯著，但是似乎試驗版本的樣本均值略好一點（如 +1% [-2%,+4%]），也就是說從采樣樣本來看試驗組的廣告平均點擊率高於對照組，但是從統計意義來看還不能確定兩者誰更好。通常情況下，試驗結果不顯著是因為樣本量不足，所以我們希望做更多的分析，然後向領導建議將試驗推送給更多的用戶（ 20%），獲得更多的試驗樣本，以期待有可能得到更明確的試驗結果。
這樣的試驗項目在谷歌很常見。具體來說，谷歌每個月都會運行 1 000個以上的試驗項目。每個試驗項目的參與者都來自這個大公司的各個部門：產品經理、工程師、銷售人員、客服人員、法務人員、質檢人員、策略研究者、市場人員等。項目的負責人通常是產品經理，他會管理工作進度及協調公司資源。項目的其他參與者會向各自的部門領導彙報，保證項目決策得到相關部門的支持。
從谷歌的實踐來看，這種跨部門組建的試驗項目小團隊很有戰鬥力，谷歌內部幾乎所有成功的項目都是這麼落地的。我覺得這種成功來自於試驗項目的管理得當、目標明確、路線清晰，以及特別重要的——我們可以利用強大的A/B測試。

2. A/B測試帶來了很多好處
像“URL改成域名”這樣的項目幾乎都是通過 A/B測試試驗繫統來實
施的。由於這個原因，在谷歌內部，“項目”這個詞幾乎已經被“試驗”所
完全替代。廣泛使用 A/B測試為谷歌帶來了如下長久的巨大的好處：
確定可預測的業務提升：每個試驗項目的收益在完全上線之前就可以精確衡量，甚至精確到 0.01%（注意，考慮到谷歌的業務體量，營收增加 0.01%相當於每年多賺或者少賺數）。如果一個試驗項目會帶來負增長，這個項目很可能就不會上線；隻有帶來正增長的試驗項目，纔會加大投入並終推廣給全量用戶。通過 A/B測試精確預測每個項目的商業回報，然後有選擇地上線項目，谷歌可以確保每年廣告收入增長約 20%（約 10規模），從而保證利潤和股價持續十多年的攀升。
. 低風險、高效率的試錯：試驗項目必須經過小流量的灰度發布階段
（如 1%的流量），隻有確定達到了業務預期，並且沒有故障，沒有過負載，沒有用戶投訴，沒有違背政策監管，沒有其他風險，纔會推廣給更多用戶。這樣做大幅度降低了決策風險，把可能的損失降到。同時，A/B測試排除了試驗之間的互相干擾，小流量試驗可以大量並行進行，大幅度提高了試錯效率，把互聯網迭代優化的速度推到了極致。因此，谷歌常常有上千個試驗並行運行。
. 創新的企業文化：谷歌是一個巨型公司，在全球各地有好幾萬名優秀的員工，公司有復雜的組織架構。這樣的公司很容易滋生“大公司病”，每一個決策都可能因為受影響的部門太多而遭遇重重阻礙。
. A/B測試的低風險、高效率，以及過往的成功實踐，持續鼓勵公司的新老員工開拓思路並大膽創新，避免了故步自封的“大公司病”問題。創新的企業文化，是企業長久生命力的源泉。小團隊創新的工作方法，

商品搜索

商品分类

【醫學】

【各大出版社】