一篇文章讀懂A/B測試背後的統計學原理

爲了可讓你們更好地理解 A/B Testing 背後的統計學知識，咱們以前已經發過幾篇深度分析文章；可是這些文章中涉及的一些術語和統計學知識，對一些基礎不太好的同窗不免會形成困惑，爲了可讓你們更好地理解這後面蘊藏的學術邏輯和算法基礎，咱們特意從非學術的角度整理出一期內容，獻給你們參考。

A/B 測試是一種對比試驗，在試驗過程當中，咱們從整體中抽取一些樣本進行數據統計，進而得出對整體參數的一個評估。咱們能從試驗數據中得出有效結論的科學基礎是基於統計學原理。

從 A/B 測試的試驗原理來看，它是統計學上假設檢驗(顯著性檢驗)的一種形式。

既然涉及統計學了，咱們先來了解一些基礎概念，這些會對咱們理解這些內容有很大幫助。

在如今的 Appadhoc 平臺作測試時，咱們經過對試驗數據的解讀來確認哪一個版本的效果更好；整個過程就其實至關於在作一個對比試驗，經過綜合對比原始版和試驗版本的樣本數據，從而判斷這兩個版本存在差別或者相同的結論。

首先，在試驗過程當中存在2個假設，這兩個假設的關係咱們須要先搞清楚。

• 原假設：咱們但願經過試驗結果推翻的假設

• 備擇假設：咱們但願經過試驗結果驗證的假設

咱們在作A/B測試時，利用試驗樣本數據判斷備擇假設是否成立。邏輯上運用反證法，統計上依據小几率思想。原假設和備擇假設是一個完備事件組，並且相互對立。在一項假設檢驗中，原假設和備擇假設必有一個成立，並且若是其中一個不成立則必須無條件接受另外一個。

在A/B測試過程當中，由於咱們試驗的目的是經過反證法證實測試版本和對照版本有明顯的不一樣（提高），因此在這個場景中，原假設就是原始版本和試驗版本無差別，而備擇假設就是這兩個版本存在差別；這也很好理解，由於咱們確定不但願作了半天測試，獲得的結果是兩個版本一點差別都沒有吧？

如今中心思想明確了，咱們的作A/B測試的試驗的目的就是推翻2個版本無差別的原假設，驗證他們有差別的備擇假設。

既然作試驗時，咱們經過樣本數據去驗證咱們的觀點，那確定會有犯錯的機率，爲了獲得科學的試驗結果，咱們則須要儘量減小這些可能致使咱們隊試驗結果作出誤判的機率。

第一類錯誤：原假設爲真時拒絕了原假設
首先咱們容易犯的就是第一類錯誤，就是原假設爲真時拒絕了原假設，說白了就是過來就是2個版本無差別時候，咱們錯誤 的認爲他們有差別（從統計學角度講也叫棄真錯誤）這個錯誤的後果很是嚴重，因此咱們把這它的標準設一個值0.05， 它其實就是一個機率， 這個機率就是咱們允許本身出錯的機率。

這個就是5%就是在統計學裏稱做 α , 它表明着咱們這個試驗結果的置信水平。與這個置信水平相對應的就是置信區間的置信度，由 1- α 得出，因此你在這裏看到若是 α 是0.05，那置信度就是0.95，也就是說，若是咱們允許本身出錯的概率是5%，那咱們將獲得一個有 95% 的可能性包含真實的整體均值區間範圍，若是你把這個 α 調整成0.07，那你的置信區間的置信度將變成93%。

因爲 α 是咱們本身設置的，那麼固然須要經過數據去驗證一下，這個經過計算出來的值就是 p-value ， p 的定義就是，若是兩個版本無差別的前提下，咱們獲得這個試驗數據的機率。

p-value 是計算出的， α 是咱們本身設定的。

p <= α 則意味着咱們的測試獲得了統計顯著的結果, 由於只有咱們獲得的這個 p 的機率越小，我就能夠越有信心的地根據小几率事件不會發生的判斷依據，從而推翻原假設，接受備擇假設。（假設 p 值0.04 那麼意味着若是原假設爲真，咱們經過抽樣獲得這樣一個樣本數據的可能性只有 4%。則我能夠認爲這次試驗發生了小几率事件。根據小几率事件不會發生的判斷依據，咱們能夠反證認爲原假設不成立，接受備擇假設的事實。）

p 值覈算涉及樣本均值，樣本數量，和標準差。

第二類錯誤：原假設爲假時接受了原假設
減小了第一類錯誤後，還有另外一種錯誤會影響咱們的決斷，

那就是原假設爲假時接受了原假設，說白了就是2個版本有差別時候，咱們錯誤 的認爲他們沒有差別 ，這個錯誤的機率在統計學角度也稱爲取僞錯誤，記爲 β ），這個機率能夠相對大一些，業界大約定俗成的一個標準就是10%和20%的機率。

和顯著性水平同樣，爲了不咱們犯第二類錯誤，咱們須要通覈算 β 從而計算出另外一個參數來給咱們參考，就是統計功效，和核算置信區間的置信度相似，它是的思路是 1-β 來得出 （統計功效 power = 1 – β ）

統計功效是指版本差別（效果）爲某個指定值時，經過顯著性檢驗能正確地把差別檢驗出來的機率。說白了就是，假設兩個版本的確存在差別，咱們可以正確拒絕原假設，得到統計顯著性結果（95%置信區間中數據）的機率。

統計功效的核算涉及樣本數量，方差， α 、以及最小變化度或者置信區間下限。

因而可知，只有咱們把第一類錯誤控制在5%之內，第二類錯誤控制在10%-20%左右，咱們才能夠說得出具備參考價值的出的試驗數據。

換句話說，咱們在作A/B測試時，試驗結果達到95%的置信度，以及80%-90%的統計功效時，它對咱們來講纔是有意義、能夠做爲決策參考的。

本文做者：吆喝科技 CSM 團隊 Yang 。