All I know about A/B Test (1) : 均值型指標與比值（率）型指標的計算區別

由於最近在找實習，因此打算把本身以前學過的關數據分析的知識總結（複習）一下。在總結A/B test時，我發現中文互聯網中關於A/B test的總結已經不少了，可是對於均值型指標和比值（率）型指標在設計實驗、計算統計量時的區別卻沒有一個很明確的總結。甚至有的文章給出的計算公式語焉不詳、先後矛盾，計算樣本數量給的是均值型指標的計算公式，計算Z值時又給出了比值（率）型指標的計算公式。

均值型指標和比值（率）型指標

在互聯網數據分析中，有許多指標是數據分析師所關心的，對於不一樣的數據分析任務須要選取合適的指標。對A/B test而言，這些指標能夠分爲兩類

• 比值（率）型，如點擊率、轉化率等
• 均值型，如人觀看時長等

須要注意的是，在統計學中，這兩類指標的假設檢驗是不一樣的。這種不一樣主要體如今三個方面：效應量（Effect size）的計算、所需樣本量的計算以及Z檢驗統計量的計算。

所需樣本量

在給出計算樣本量以前，首先介紹一下樣本量的四個影響因素，分別是：

• 顯著性水平（α）：顯著性水平越低，對實驗結果的要求也就越高，越須要更大的樣本量來確保精度
• 統計功效（1 – β）：統計功效意味着避免犯二類錯誤的機率，這個值越大，須要的樣本量也越大
• 均值差別（\(\mu_1, \mu_2\)）：若是兩個版本的均值差異巨大，也不太須要多少樣本，就能達到統計顯著
• 標準差（σ）：標準差越小，表明兩組差別的趨勢越穩定。越容易觀測到顯著的統計結果

一個A/B test須要的樣本量就由四個指標進行計算：

• 比值（率）型指標

  \[N = \frac{(z_{1-\alpha/2}\sqrt{2\frac{p_1 +p_2}{2}(1-\frac{p_1 +p_2}{2})} +z_{1-\beta}\sqrt{p_1(1-p_1)+ p_2(1-p_2)} )^2}{(p_1-p_2)^2} \]

  其中\(p_1,p_2\)分別表示兩組樣本的比值型指標。上述方法爲R和G*power中使用公式，其餘工具略有不一樣，更多比值類樣本量計算方法，參考[2]。

• 均值型指標

\[N_1 = kN_2 \]

\[N_2 = (1+ \frac{1}{k})(\sigma\frac{z_{1-\alpha/2}+ z_{1-\beta}}{\mu_1 - \mu_2})^2 \]

​ 其中\(N_1,N_2\) 分別表示兩組樣本數量；\(z_{1-\alpha/2},z_{1-\beta}\) 經過\(z\)分佈計算；\(\mu_1,\mu_2\) 分別爲當前均值指標和預估改進後均值指標（或者指望檢測到的指標變化）。重點是標準差\(\sigma\) ,實驗前很難知道其大小，通常能夠根據經驗值預估。

效應量（Effect size）

效應量又稱效應值，提供了對效應大小的具體測量，也就是說反映了具體效果的大小。

• 比值（率）型指標

\[es = 2(arcsin(\sqrt{p_1})- arcsin(\sqrt{p_2})) \]

​

• 均值型指標
  \[es = \frac{\mu_1 - \mu_2}{\sigma_{pooled}} = \frac{\mu_1 - \mu_2}{\sqrt{\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}}} \]
  其中\(s_1, s_2\) 分別表示兩組樣本的標準差.

Z檢驗統計量

• 比值（率）型指標

  • 商務與經濟統計[1]中給出的方法

    \[z = \frac{\overline{p}_1 - \overline{p}_2}{\sqrt{\overline{p}(1-\overline{p})(\frac{1}{n_1}+\frac{1}{n_2})}} \]
    \[\overline{p} = \frac{n_1\overline{p}_1 + n_1\overline{p}_1}{n_1 + n_2} \]

  • 網絡中給出的方法：

    \[z = \frac{(p_1 - p_2) - (\mu_1-\mu_2)}{\sqrt{\frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}}} \]

    找了很久沒有找到推導，我的見解是把比值型指標看作伯努利分佈，則根據中心極限定理，\(B(1,p)\sim N(p,p(1-p))\)，而後從均值型指標公式推導過來。

• 均值型指標

  \[z = \frac{(\overline{x}_1 - \overline{x}_2) - (\mu_1-\mu_2)}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}} \]

以上就是我總結的關於均值型指標和比值（率）型指標在A/B test中的區別，若有遺漏和錯誤，望你們多多指正。

參考文獻

[1]. 商務與經濟統計

[2]. A/B測試系列文章之怎麼計算實驗所需樣本量

[3]. A/B測試(A/B試驗)的概述、原理、公式推導、Python實現和應用