如何作一次完美的 ABTest？

本文首發於 vivo互聯網技術 微信公衆號
連接： https://mp.weixin.qq.com/s/mO5MdwG7apD6RzDhFwZhog
做者：DuZhimin

愈來愈多的公司都在嘗試 ABTest，要麼是本身搭建系統，要麼依賴於第三方的系統。那麼在咱們進行ABTest的時候，必備的基礎知識有哪些？該如何一步一步的進行AB實驗呢？本文將根據 AB 實驗的流程帶領你們一窺究竟。

1、引言

在互聯網公司的業務發展過程當中，用戶增加是永恆的主題，由於沒有增加也就沒有發展，因此在業務發展的早期產品迭代速度每每是越快越好，總之一句話：「怎麼快怎麼來」。

而當業務發展到必定階段後，野蠻生長的紅利逐漸消退，用戶增加空間在可見策略下變得不那麼明顯的狀況下，如何合理地規劃產品迭代策略就顯得尤其重要了，而具體如何判斷產品策略是否有效，每每就須要數聽說話，其結果決定了該產品或策略的生命力以及與之配套的各種資源的調配，畢竟咱們都不會將資源浪費在無效的產品和策略上。

那麼經過什麼樣的工具或手段才能確保數據驅動策略的有效落地和實施呢？不少公司都是經過ABTest及建設與之相適配的實驗基礎設施平臺來實現這樣的目標。

2019年咱們搭建了vivo的ABTest實驗平臺(霍金實驗平臺)，到目前爲止臺累計接入業務方14個業務方進行了40個實驗，在與業務方溝經過程中發現咱們對ABTest的理解還不夠，因此在這裏咱們一塊兒學習一下相關的知識點，加深對ABTest的理解。

ABTest一般是比較產品的某一個變量在不一樣的版本里面設置不一樣的值帶來的做用以及影響（好比一個頁面用紅色的按鈕、另外一個用藍色的按鈕），其中版本A是當前正在使用的版本，而版本B是改進版。在進行實驗時通常是比較實驗組和對照組在某些指標上是否存在差別，固然更多時候是看實驗組相比對照組某個指標表現是否更好。這樣的對比在統計學上叫作兩樣本假設檢驗，即實驗組和對照組爲兩樣本，假設檢驗的原假設H0：實驗組和對照組無顯著差別；備擇假設H1：實驗組和對照組存在顯著差別。

更多時候咱們關注的比例類的數值，如點擊率、轉化率、留存率等。這類比例類數值的特色是，對於某一個用戶（樣本中的每個樣本點）其結果只有兩種，「成功」或「未成功」；對於總體來講，其數值爲結果是「成功」的用戶數所佔比例。如轉化率，對於某個用戶只有成功轉化或未成功轉化。比例類數值的假設檢驗在統計學中叫作兩樣本比例假設檢驗。

下面咱們以帳號設備登陸率實驗來進行講解。

2、實驗前準備

一、作實驗以前，咱們先來回答下面幾個問題：

1.一、你進行實驗是想證實什麼？

答：我想經過改變設備登陸按鈕的顏色來提升帳號的設備登陸率

1.二、你的對照組和實驗組將是什麼樣子？

答：對照組就是目前的樣子，請看下圖，登陸的按鈕是藍色的背景，實驗組我想把登陸的按鈕背景改爲橙色，從而看看設備登陸率是否有提高。

【完美第一步：肯定實驗組和對照組】

1.三、如何避免混雜因素？

（混雜因素就是研究對象的個體差別，它們不是你試圖進行比較的因素，但卻最終致使分析結果的敏感度變差，好比不一樣城市的人，不一樣年齡段的人，性別……，進行實驗的時候要儘可能避免混雜因素對結果的影響）

答：你這裏問的就是咱們在作實驗的時候，如何肯定對照組和實驗組的樣本吧，就是要使實驗組和對照組的樣本個體差別儘可能相同。如何分配每一個實驗方案的用戶霍金實驗平臺已經幫咱們作了，我瞭解到實驗平臺能夠支持不少種劃分用戶的策略（惟一標識符哈希，指定特定用戶，根據用戶標籤……），咱們準備採用惟一標識符哈希的策略，它是從請求的用戶中隨機選擇來避免混雜因素的極好辦法：由於可能成爲混雜因素的那些因素最終在對照組和實驗組中具備同票同權。

下圖是實驗平臺支持的分流策略：

【完美第二步：排除混雜因素】

二、樣本量

作A/B實驗須要多少樣本？這是咱們在作實驗的時候都必需要回答的問題。（其實對於互聯網的應用來講，流量都很是大，樣本量不多是實驗中須要考慮的因素，不過這裏咱們仍是要講一講，由於還涉及到一些其餘的概念，咱們也須要了解了解）

2.一、爲什麼要計算樣本量？

理論上，樣本量越多越好：

• 從直觀上看，當樣本數量不多的時候，實驗容易被新的樣本點帶偏，形成了實驗結果不穩定，難以得出確信的結論。相反的，樣本數量變多，實驗則有了更多的「證據」，實驗的「可靠性」也就越強。

在現實操做中，樣本量應該越少越好，這是由於：

1. 流量有限：大公司由於用戶數量足夠多，不用過於精打細算，同時跑幾十個甚至上百個實驗也沒問題。但小公司一共就那麼點流量，還要開發這麼多新產品。在保證不一樣實驗的樣本不重疊的狀況下，產品開發的速度會大大下降。
2. 試錯成本大：假設咱們拿50%用的戶來跑實驗，但不幸的是，一週後結果代表實驗組的總收入降低了20%。算下來，你的實驗在一週內給整個公司帶來了10%的損失。這個試錯成本未免高了一些。

2.二、置信度和檢測效能

要搞清這兩個概念，咱們瞭解一下A/B實驗的基本知識。

首先，A/B測試的兩個假設：

原假設（Null hypothesis, 也叫H0）：咱們但願經過實驗結果推翻的假設。在咱們的例子裏面，原假設能夠表述爲「橙色按鈕和藍色按鈕的設備登陸率同樣」。
備擇假設（Alternative hypothesis, 也叫H1）：咱們但願經過實驗結果驗證的假設。在咱們的例子裏面，能夠表述爲「橙色按鈕和藍色按鈕的設備登陸率不同」。

A/B測試的本質，就是經過實驗數據作出判斷：H0到底正不正確？那麼就會出現下面四種狀況：

一、設備登陸率無區別（H0正確），實驗分析結果卻說有區別：

因爲判斷錯了，咱們把這類錯誤叫作第一類錯誤（Type I error），咱們把第一類錯誤出現的機率用α表示。置信度 = 1-α。第一類錯誤意味着新的產品對業務其實沒有提高，咱們卻錯誤的認爲有提高。這樣的分析結果，不只浪費了公司的資源，並且可能對產品進行了負向引導。

因此，在作A/B測試的時候，咱們但願第一類錯誤越低越好。實際操做中，咱們人爲的對α定了一個上限，通常是5%。也就是說，在作實驗的時候，咱們都會保證第一類錯誤出現的機率永遠不超過5%。

二、設備登陸率有區別（H1正確），實驗分析結果卻說沒區別：

咱們的判斷又錯了，這類錯誤叫作第二類錯誤（Type II error），用β表示。咱們通常定義第二類錯誤β不超過20%。

三、狀況2和狀況3是兩種判斷正確的場景，咱們把作出這類正確判斷的機率叫作檢測效能。

咱們的作實驗的根本目的是爲了檢測出橙色按鈕和藍色按鈕的設備登陸率的差異。若是檢測效能低，證實即便新產品真的有效果，實驗也不能檢測出來。換句話說，咱們的實驗無卵用。

根據條件機率的定義，檢測效能 = 1 -β = 80%。

對兩類錯誤上限的選取（α是5%，β是20%）中咱們能夠了解到A/B實驗的重要理念：寧可砍掉4個好的產品，也不該該讓1個很差的產品上線。

2.三、樣本量的計算公式

大部分狀況下，咱們不須要詳細瞭解樣本量的計算公式，這裏給出來公式，你們一塊兒學習一下。

上面式子中p1咱們稱爲基礎值，是實驗關注的關鍵指標如今的數值（對照組）；p2咱們稱爲目標值，是但願經過實驗將其改善至的水平；α和β分別稱爲第一類錯誤機率和第二類錯誤機率，通常分別取0.05和0.2；Z爲正態分佈的分位數函數 。

由於 ABTest通常至少2組，因此實驗所需樣本量爲2n。

2.四、這麼複雜的公式我不會算，咋辦？

現在霍金實驗平臺已經提供了計算樣本量的小工具，只須要填入幾個數字就能夠了：

說明：

當前業務平常的比例（基線比率）：好比當前咱們進行的帳號設備登陸率實驗，那麼這個基線比率就是當前的設備登陸率，好比15%。

指望提高的最小比率（最小可探測效應）：在咱們的實驗中，咱們選按期望提高的最小比率爲5%。這意味着，若是粉色按鈕真的提升了5%的設備登陸率，咱們但願實驗可以有足夠把握檢測出這個差異。

實驗組數：正常進行AB實驗的時候，就是兩個，一個對照組，一個實驗組。

【完美第三步：計算最小樣本量】

三、肯定指標

在進行實驗時通常是比較實驗組和對照組在某些指標上是否存在差別，固然更多時候是看實驗組相比對照組某個指標表現是否更好。因此咱們在進行實驗以前就應該先肯定好實驗中須要須要對比的指標，更多時候咱們關注的比例類的指標，如點擊率、轉化率、留存率等。後續咱們作實驗的顯著性分析的時候，也是分析的比例類指標。

【完美第四步：肯定實驗指標】

四、埋點

當咱們肯定了須要分析的具體指標以後，就須要咱們進行埋點設計，把相關的用戶行爲收集起來，供後續的流程進行數據分析，從而得出實驗結論。

對於 ABTest咱們須要知道當前用戶是處於對照組仍是實驗組，因此埋點中這些參數必需要有。

目前霍金實驗平臺經過服務端埋點技術，支持業務方實驗的時候埋點數據不上報用戶是處於實驗組仍是對照組的信息，可是建議仍是業務方把用戶處於的方案信息埋進去，這樣數據更準確，分析的結果更可靠。

【完美第五步：收集實驗數據】

3、實驗中觀察

一、觀察樣本量是否符合預期，好比實驗組和對照組分流的流量是否均勻，正常狀況下，分流的數據不會相差太大，若是相差太大，就要分析哪裏出現了問題。

二、觀察用戶的行爲埋點是否埋的正確，不少次實驗以後，咱們發現埋點埋錯了。

4、實驗後分析

一、當咱們作過 ABTest以後，須要對數據進行分析來肯定本次實驗的效果，這就須要進行實驗的顯著性分析，看看實驗的顯著性差別，若是結果不顯著，則不具有參考性。

二、顯著性差別是一個統計學名詞。它是統計學上對數據差別性的評價。在做結論時，一般狀況下咱們用 P>0.05 表示差別性不顯著；0.01<P<0.05 表示差別性顯著；P<0.01表示差別性極顯著。

三、當數據之間具備了顯著性差別，就說明參與比對的數據來自於具備差別的兩個不一樣整體，這種差別可能因參與比對的數據是來自不一樣實驗對象羣體，好比把中年人和老年人相比，也可能來自於實驗處理對實驗對象形成了根本性狀改變（正是咱們AB實驗指望的），於是實驗的數據會有顯著性差別。

四、下面給出比例類指標顯著性計算公式，供你們參考（獨立樣本t檢驗）：要計算p值，咱們須要先計算t值，公式以下：

計算出t值後，根據t值和自由度n =N1 + N2 - 2 將 t 值轉換成p值，
這裏給出Excel的計算公式：p =Tdist(t,n,1)

五、這麼複雜的顯著性計算須要咱們業務方來計算嗎？

答：不須要，霍金實驗平臺已經支持實驗指標的顯著性計算：

【完美第六步：指標顯著性計算】

六、從3可知，顯著性差別不必定就表明實驗是有效的，多是由於混雜因素致使的，這就須要作實驗樣本的進一步分析，肯定是否是混雜因素的影響。

【完美第七步：肯定顯著性根本緣由】

七、最終經過分析，給出本次實驗是否有效，若是有效那麼本次實驗帶給業務方的提高是多少的結論。

【完美第八步：給出實驗結論】

八、據說霍金實驗平臺將會支持方案分流數據實時查看和指標數據實時查看 是嗎？

答：是的，是的，應該不會過久。

5、總結

如何作一次完美的 ABTest？

一、肯定對照組和實驗組，最好是作單變量的實驗，一次只改變一個變量。

二、分流時儘可能排除混雜因素，通常狀況下采用隨機分流便可。

三、檢查流量是否達到最小樣本量要求，達不到要求則無法進行後續的分析，實驗結果不可信。

四、肯定本次實驗的對比指標，就是若是方案之間存在差異須要經過什麼來衡量？

五、準確收集用戶行爲數據，這就要求埋點必須正確。

六、分析指標的顯著性，若是指標不顯著則表示實驗無效。

七、肯定引發顯著性的根本緣由，排除混雜因素致使實驗結果的顯著性。

八、最終給出實驗結論：有效 or 無效。

更多內容敬請關注vivo 互聯網技術微信公衆號

注：轉載文章請先與微信號：Labs2020聯繫。