從零開始學AB測試：基礎篇

什麼是AB測試？

通俗點理解，AB測試就是比較兩個東西好壞的一套方法，這種A和B的比較在咱們的生活和人生中很是常見，因此不難理解。具體到AB測試這個概念，它和咱們比較哪一個梨更大、比較哪一個美女更漂亮、比較哪一個工做更好之間有什麼區別嗎？ 區別其實很是明顯，從如下幾個方面不難看出來：

• 領域不一樣：AB測試的概念是在互聯網中被提出來的，因此它有特定的應用領域。
• 標準不一樣：AB測試須要比較產品的兩個不一樣版本之間的優劣，可是評判要交給用戶，不像咱們生活中遇到的AB比較，基本均可以「本身拿主意」。

正是由於標準在「用戶爸爸」那裏，因此這個看起來很簡單的AB比較就變得異常複雜。在我這個理科男眼裏，凡是跟人有關的東西都更復雜，況且和千千萬萬人有關的產品。所以，爲了比較A和B兩個不一樣版本產品的優劣，AB測試這一套系統的方法被髮明出來了。

上圖是AB測試的一個直觀解釋。咱們會隨機給不一樣的人羣提供兩個不一樣版本的產品，而後經過收集用戶反饋的數據進行統計分析，決定出哪一個版本的產品更好。相信咱們每一個人都當過AB測試的小白鼠，細心的你不難在使用微信、抖音、高德、美團這些APP時發現一些端倪。

維基百科上給AB測試下了一個定義：

A/B testing is a way to compare two versions of a single variable, typically by testing a subject's response to variant A against variant B, and determining which of the two variants is more effective.

在我看來這跟啥也沒說差很少，就是我上面「通俗理解」的翻譯版本。AB測試屬於那種一聽就懂，一看就明白，一作就抓瞎的事。因此定義和概念不重要，實踐才重要。幸運的是，前輩們已經幫咱們總結了很是多的經驗教訓，而我做爲知識的搬磚工，將會用幾篇文章來和你們一塊兒從零開始學習AB測試。

• 互聯網公民第一守則：不要重複造輪子。
• 互聯網公民第二守則：參照上一條。

爲何要作AB測試？

AB測試雖然思想簡單可是很是有效，看了以下的幾個好處你就明白爲何必定要作AB測試了：

• 若是咱們人工針對部分用戶作調研，很難消除一些外部因素的影響，好比交通、天氣、節日，而AB測試能夠經過隨機分配和對照的方式，有效消除這些影響。
• 若是咱們聽取專家或研究機構的建議，衆所周知，他們極可能出錯。用戶行爲是個很複雜的事，具備潛在性，不少時候用戶本身都不知道本身怎麼想的，想要什麼。
• 讓數聽說話，而不是聽老闆的🙂

總之，AB測試能夠幫助咱們消除主觀因素的影響，儘可能作出更理性，更符合實際的決策。

AB測試的步驟

在此引用一本書裏的圖片，AB測試的基本步驟以下：

翻譯過來大體以下：

• 建立假設：明確要測試的目標。
• 分析並具體化假設：目標必定要具體化，好比將用戶點擊率提高1個百分點。
• 定義評估指標：如何對你關心的指標量化？
• 決定要作實驗的平臺：網頁端？移動端？安卓仍是IOS？
• 技術實現：交給碼農
• 結果分析
• 消除干擾：不要覺得有告終果就能夠下結論了，後面會教你們躲坑大法
• 結論

能夠看出在實際執行過程當中有不少細節和步驟須要考慮，並非直接把兩個版本的產品隨機分配給不一樣用戶那麼簡單。既然AB測試是讓數聽說話，因此目標/指標量化就很關鍵，說直白點，拿什麼來證實A比B好呢？比如挑個西瓜，你也得有幾個評估的標準：大小，色澤，聲響等等。

另外，在真正開始作實驗以前，還有個重要的問題須要解決，那就是你的測試樣本要選多大。你要清楚，咱們不可能對大多數用戶都進行測試，那樣跟「先上線有了問題再回退版本」的簡單粗暴方式就沒有了區別。因此在實驗以前須要評估出你所須要的最小樣本數目（最少被測試用戶的數目）。AB測試本質上是作統計假設檢驗，因此已經有不少現成的統計工具幫咱們來作相似的事情，下面有個簡單的網頁端工具，感興趣的朋友能夠去試試看。

一個AB測試的輔助工具： https://abtestguide.com/calc/

下一篇《從零開始學AB測試：躲坑篇》將和你們分享在AB測試中如何躲避前人踩過的各類坑。記得加關注。

參考資料

[1] 《A Definitive Guide to A/B Testing: Practical Lessons for Online Product Managers 》, Divakar Gupta

若是你喜歡以上內容，歡迎到個人我的主頁關注我：Homepage