10%的試驗成功率究竟意味着什麼？成功！

前言

在此以前，個人實驗屢屢失敗。10次實驗，最多能有1次成功。可是即使如此，我仍是會不斷在細節上作出調整，提升精準度，在進行下一次的實驗。在過去的20多年時間裏，我一直在持續不斷作實驗，我終於成功了。

——2011年得到諾貝爾生理學獎得到者 山中伸彌

山中伸彌因何得到諾獎？逆轉錄病毒誘導生成IPS類幹細胞。或許你聽不懂，簡言之，他的研究成果可以讓普通細胞據胚胎幹細胞的能力，可以造成任何人體器官……在此基礎上繼續發展，任何致命的心血管疾病、器官衰竭或破損都將獲得解決（而且可以避免經過胚胎獲取幹細胞的倫理問題）——真正作到『起死回生、妙手回春』。他是如何作到的呢？就如引言所說。

20年只作一件事情——不停試驗，若是再加上不足10%的成功率究竟意味着什麼？有人會想到『書山有路勤爲徑，學海無涯苦做舟』，吆喝君卻認爲這個加法等號的右邊是成功。偉大的成功每每源於堅持不懈，但是盲目的勤奮和一味的吃苦並非成功的必然條件，只有創建在試驗思惟下的堅持到底纔是勝利。

互聯網亦是如此。泡沫的遠去，互聯網產品自己發展的魅力得以體現。或許，這個世界上再也沒有任何其餘一個領域從源頭上就能夠深度接入試驗文化。從 Goolge 第一次不太成功的 A/B 測試開始到現在世界上頂級科技廣泛利用 A/B 測試優化產品體驗，已經一部分人開始意識到：對於互聯網公司而言， A/B 測試並非有沒有沒有的問題而是多仍是更多的問題。

亞馬遜創始人貝佐斯曾絕不避諱的表示「試驗不是策略之一，而是策略自己」，包括 Facebook、Linkedin、Google、Airbnb、Wish、Uber、Netflix 等一系列巨頭從創業之初到如今始終沒有改變的 A/B 測試。A/B測試，不是高高在上的理論假設，也不是俗爛的運營套路，而是一箇中觀的科學實踐方式。

通過國內外一系列第三方A/B測試方案提供方的不懈努力（國外如Optimizely，國內如吆喝科技）愈來愈多的國內公司開始積極接觸A/B測試。這些公司每每有着強烈的互聯網業務增加需求卻只能從一些非專業人士那裏聽到一些皮毛甚至是錯誤的認知。今天吆喝君從理論到實踐幫助你們從根本上正確認識「A/B 測試 ——定義、特性、實施流程（更多內容點擊閱讀原文得到更多信息）。

A/B測試的定義:分離式組間試驗方法

分離式組間試驗方法。基於統計學假設檢驗原理設計的對照試驗，經過對照組和試驗組的採樣樣本分析來推斷某個假設是否對整體樣本成立。在科學研究領域被用做最高水平的檢驗方法，在產業上被應用在醫療臨牀3期，農業試驗田，廣告營銷設計優化，互聯網產品迭代優化，互聯網流量運營轉化率優化，選舉策略優化等場景。

廣告之父 David Ogilvy：測試不息，增加不止

A/B測試的三大特性：鮮豔、並行、科學

先驗性： A/B 測試結果屬於預測型結論，與「後驗」的概括性結論差異巨大。後驗的方式是先將版本發佈，再經過數據驗證效果，而 A/B 測試用不多的樣本量來推斷新版本在全流量下的效果。

並行性： A/B 測試將兩個或以上的方案同時在線試驗，保證每一個版本所處環境的一致性，同時節省了驗證的時間，無需在驗證完一個版本以後再測試另外一個。

科學性： A/B 測試的正確作法是將類似特徵的用戶均勻的分配到試驗組中，確保每一個組別的用戶特徵的類似性，從而避免辛普森悖論。

A/B測試試驗是產生用戶阻力的地方，也是增加前進的核心動力。

轉化率優化之輪

A/B測試的實施流程

不一樣平臺因技術實現方式不一樣而在實施流程上有所差別，不可能在一篇文章中所有覆蓋，那麼咱們就以相對成熟完善的 AppAdhoc A/B Testing 爲例展開：

1.試驗設計：

根據假設肯定試驗項目的設計，包括試驗版本和變量，試驗觸發條件，試驗針對的用戶受衆，試驗流量分配，優化指標等等。

2.試驗配置：

對H5或廣告着陸頁等場景的試驗，設置觸發條件，好比徹底匹配URL或者模糊匹配URL。若是試驗是定向針對部分用戶羣體的，設置受衆定向，好比小米Mix2手機用戶。

3.建立試驗版本：

對於UI佈局，banner圖片，文案，配色等試驗，可使用可視化編輯器來編輯生成試驗版本；對於廣告着陸頁等試驗，可使用多連接試驗來直接把不一樣的URL看成不一樣的試驗版原本對比；對於新功能灰度發佈，後端算法調整，結構改版等試驗，可使用編程模式自定義試驗變量，請工程師來將變量集成到代碼裏。

4.設定優化指標：

對於用戶行爲類優化指標，好比按鈕點擊、圖片點擊、URL跳轉等，可使用可視化編輯器來埋點；對於須要代碼計算的指標，好比收費金額等，可使用編程模式自定義指標，請工程師將指標埋點集成到代碼裏。

5.QA調試和上線：

使用內部測試機器來調試原始版本和試驗版本，檢查版本是否符合試驗設計，檢查系統是否能正確收集到調試數據。對於App編程模式試驗，經過QA調試以後，可能須要將新版App代碼上線應用商店。

6.流量分配：

通常先給試驗分配小流量，好比10%流量，其中5%給原始版本，5%給試驗版本。若是沒有bug和數據異常，再逐步提升試驗流量到20%，50%，100%。注意儘可能保證原始版本和試驗版本的流量相等。

7.數據分析：

實時檢查試驗數據，觀察試驗版本優化指標的置信區間來判斷試驗假設是否正確。

更清晰的後臺可點擊這裏免費註冊體驗

點睛

A/B測試，每每會被看作一種黑客增加工具。然而，A/B測試並非一個僅僅知足人們短時間增加目標的興奮劑，而是一個有目標、有追求的公司所要堅持的企業文化和增加文化。2011年得到諾貝爾生理學獎的日本教授山中伸彌，因實現了細胞逆向重編程（可以讓任何細胞退回到受精卵階段成爲IPS萬能細胞），在京都大學召開記者招待會上，他說了這樣一番話：「在此以前，個人實驗屢屢失敗。10次實驗，最多能有1次成功。可是即使如此，我仍是會不斷在細節上作出調整，提升精準度，在進行下一次的實驗。在過去的20多年時間裏，我一直在持續不斷作實驗，我終於成功了。」這個世界只有兢兢業業的創業人，卻從未有馬馬虎虎的成功者。