數據應用系列（1）-ab測試

做者/五花肉

做者介紹

前網易出口大數據產品經理一枚

負責過數據採集、bi系統、ab測試、畫像平臺等應用層平臺搭建

酷愛健身、鍾愛咖啡、喜好摩托、熱愛生活

01 爲何須要ab測試

你們在平常工做中是否會遇到如下問題：
1）產品經理提出一個競品沒有的功能，即使感受本身引領了行業，但老版：「這個功能競品都沒有爲啥要作？」好不容易說通了老闆，到了開發大佬評審時：「這功能對用戶好像沒用啊，要想說服開發，又要經歷一輪苦口婆心，心累！

2）新功能經歷灰度發版後，上線以後數據增加下跌是不是由於此次功能或策略致使，要想拆分清楚，分析師小夥伴又要經歷一次抽絲剝繭

3）我有兩個想法，但不肯定哪一個對用戶更有效，如何能進行驗證……

咱們天天的工做都要處理各類各樣的決策，而人們決策的方式會偏好本身習慣或者熟悉的方式，但每每結論與其相悖，要想以實際效果來驅動業務。

這就須要一個科學、並行、可操做的方法來驗證每一種策略的可能性，這種方法就是咱們今天要講的A/B測試。近幾年來隨着用戶增加，精細化分析概念的普及，做爲核心方法的ab測試也彷彿成爲了互聯網圈小夥伴們必須掌握的基礎技能之一。

Google、facebook、linkin、快手、字節等國內外大廠都把ab測試結果做爲推進業務發展的基礎。但ab測試方法具備必定的使用門檻，對於業務人員須要具有統計學、平臺操做等相關知識；對於平臺人員須要具有統計學、平臺設計、數據採集、系統搭建以及異常問題處理等相關知識，乍一聽起來，好像有點難度。別慌，聽我慢慢給你們逐一闡述。

02 ab測試與控制變量

AB測試的定義是指爲Web或App界面或流程製做兩個（A/B）或多個（A/B/n）版本，在同一時間維度，分別讓組成成分相同（類似）的訪客羣組（目標人羣）隨機的訪問這些版本，收集各羣組的用戶體驗數據和業務數據，最後分析、評估出最好版本，正式採用。

這條定義有幾個關鍵詞，同一時間、組成成分相同，隨機訪問，目的是儘量的避免其餘變量對實驗產生的影響。看完這條定義，不知你們是否有些似曾相識。

咱們初中上物理或生物課的時候，老師介紹過一種方法——控制變量法。控制變量法是指把多因素的問題變成多個單因素的問題,只改變其中的某一個因素,從而研究這個因素對事物影響,分別加以研究,最後再綜合解決的方法。

該方法最先被設計出來是在進行科學實驗時把多因素問題變成單因素問題來研究對事物的影響，目的是爲了減小方差。

下面咱們來舉個例子說明一下控制變量法和ab測試有多麼的類似：
例1：某興趣小組作了個實驗，研究問題是種子生長狀況收到什麼因素影響，提出研究假設：種子生長狀況是否收到洗滌劑影響，實驗設計以下圖：

例2：例如某app打算優化一下籤到功能，研究簽到功能的點擊率受什麼因素影響，假設：簽到點擊率是否受到文案的影響，實驗設計以下圖：

咱們從實驗流程角度來看兩組實驗：

是否是操做流程、設計理念有殊途同歸之妙。雖然控制變量法已經被創造了百十年，但這個「古老」的方法也是後期設計實驗、設計平臺以及數據分析上的一個基本依據。

03 ab測試有哪些優勢

那麼ab測試在實際運用的過程當中有哪些優勢呢？
1.說服力：
我以爲這個優勢是首當其衝的，有些時候不管是產品、運營提的想法總會被開發diss，這需求有用麼？嗨！有沒有用上實驗，用數聽說話。這套操做下來簡直是無形中給咱們負責提需求的小夥伴們強有力的支持，久而久之，我相信開發大佬們也會對咱們「言聽計從」的。


2.下降風險：
ab測試強調先驗性，實驗肯定對用戶有效果纔會上線，避免了傳統操做需上線之後觀測數據的方式，對用戶影響小的多，下降了「傷害」用戶的風險 


3.符合科學原理：
ab實驗通過了科學的實驗設計、科學的用戶抽樣、運用科學的統計方法及數據分析得出的結論並採用逐步全量進行上線的方式 


4.口徑統一：
實驗組和對照組同時生效、同時展現、採用一樣的指標口徑進行計算，避免了後期實驗結果上因口徑不一樣致使的分歧 


04 ab的基礎知識及做用

ab測試是一種對比分析方法，經過樣本對整體的估計，來識別出哪一個版本對總體效果最好。下面咱們一塊兒看一下要學會ab測試方法須要哪些基礎知識。

流量層
能夠理解爲平行時空，每層人總數是同樣的，經過算法進行隨機打散，讓同一我的在不一樣層有不一樣的順序和標號以便進入到不一樣實驗，規避掉實驗上多因素形成的數據誤差，之因此引入流量層的做用是爲了解決實驗多而流量不夠的問題，每層均可以運轉實驗，結束後流量釋放。

正交&互斥
正交&互斥是存在於流量層上，即實驗用戶同層互斥、不一樣層正交，通俗來說就是實驗已經佔用的用戶在同層不會被其餘實驗佔用，但該實驗中的用戶在其餘流量層會被佔用，正交&互斥原則是實驗設計時基本原則，爲了不實驗與實驗間互相影響。

均值：表示一組數據集中趨勢的量數,在一組數據中全部數據之和再除以這組數據的個數，ab實驗中涉及的均值爲人均值和轉化率，例如人均點擊次數、ctr等，在ab測試裏做爲一個觀測指標展現

方差：是指各數據與其均值的離差平方和的平均數，反應每一個數據與均值的離散型或者波動性，在ab測試中是計算臨界值的一個基本數據。

假設檢驗：又稱統計假設檢驗，其做用是用來判斷樣本與樣本，樣本與整體差別是由抽樣偏差引發的仍是本質差異引發的一種方法。

例如：汽車引擎新排放標準是平均值<20ppm，現某公司抽取10臺汽車樣本，其引擎排放水平爲 15.6 16.2 22.5 20.5 16.4 19.4 16.6 17.9 12.7 13.9，判斷該公司汽車是否符合新排放標準？

若要看排放是否符合標準，首先要創建原假設：排放不符合標準；其次要構造統計量進行相關數據的對比；再次要肯定這10臺汽車與標準是否具備顯著差別，若無差別，最後得出結論。

因此綜上假設檢驗一般須要如下步驟：

1.提出猜測，設定原假設和備擇假設
2.構造統計量，根據樣本計算相關數值
3.肯定顯著性水平，進行數據檢驗
4.得出結論

經常使用的假設檢驗的方法有：z檢驗、t檢驗、f檢驗、卡方檢驗，咱們能夠根據下圖來肯定什麼檢驗方式適合本身：

其中t檢驗和z檢驗爲ab測試所使用的檢驗方式。

正態分佈：正態分佈是描述連續型變量值分佈的曲線，表現形式爲中間高兩邊低，可根據一組數據的均值和方差求得，根據其均值、中位數和衆數的大小關係有如下幾種表現形式：

若均值（μ）爲0（y軸），標準差（σ）爲1，則該分佈又稱標準的正態分佈，其在橫軸區間（μ-σ,μ+σ）內的面積爲68.268949%，橫軸區間（μ-1.96σ,μ+1.96σ）內的面積爲95.449974%，橫軸區間（μ-2.58σ,μ+2.58σ）內的面積爲99.730020%。也就是說在這三個置信區間內的機率分別是68.27%、95.45%、99.74%，該機率又成爲置信水平。

置信區間：是指用樣本均值估計整體均值時容許的偏差範圍。例如咱們要統計全人類的體重，由於沒法統計每個人，可是咱們根據規則隨機取各個國家1萬人的體重求其均值μ，假定作了100組實驗，就會有95組實驗包含μ，5組不包含。用數學公式標識則爲P(μ−1.96nσ<< span="">M<< span="">μ+1.96nσ)=0.95

p值：即發生某件事情的機率，是用來判斷假設檢驗結果的一個參數，若p值很小則證實原假設發生的機率很小。因樣本是從整體中隨機抽取，因此不能肯定樣本的表象差異是否經過抽樣偏差引發，故須要從統計學角度來判斷這次抽樣是否有統計學意義，其數據解釋以下：

顯著性差別是說明對比的數據不是來自於同一整體，而是來自於具備差別的兩個不一樣整體，例如大學生和小學生的在學習能力上的對比，就是有極顯著差別。

顯著性水平α：是在原假設爲真時拒絕原假設的機率，根據具體需求選擇雙側檢驗仍是單側檢驗，詳見下圖：

p值和顯著性水平α的關係以下：
1）若P<< span="">=α，那麼拒絕原假設
2）若p>α，那麼不能拒絕原假設

一般狀況下單側檢驗取0.05或0.01爲拒絕域的臨界值，這代表做出接受原假設的決定時，其正確的可能性是95%或99%

統計功效：備擇假設成立時，正確的拒絕原假設的機率，咱們用下圖來講明下什麼是統計功效。

紅色線是原假設下分佈狀況，紅色區域在原假設分佈下爲拒絕原假設的機率，其中z值爲臨界值，統計功效就是該臨界值在備擇假設的分佈下，統計量大於z的機率，即上圖綠色區域，公式爲1-β。

上面咱們知道了以上ab測試所須要的基本概念，那如何運用到實際ab測試中呢。

咱們舉個例子來看下：
背景：某天a公司產品部門要優化push文案策略對用戶點擊率的影響

產品經理小a在其公司下的ab平臺建立了一個實驗，分2個實驗組開啓實驗，
假設：實驗版本比對照版本好

實驗時間：週期21天，21天后觀測效果以下：

根據上表數據，具體推演流程小夥伴們能夠根據前面的知識點本身思考一下~

上面梳理了ab測試的原理、優勢以及一些相關的基礎概念，若是要實際操做仍是須要一個平臺來承接，那麼一個ab平臺都須要具備哪些功能呢？我對比了一下市場上的產品給你們剖析一下。

05 市場工具的競品分析

市場上提供ab測試相關功能的公司主要有：

國內：
1.雲眼https://www.eyeofcloud.com/）abtester（http://www.abtester.cn/）
2.吆喝科技（http://www.appadhoc.com/）
3.智道助手
http://sjmyz.zhidzhushou.com/lp2.html?utm_source=5&utm_medium=sembaidu&utm_term=sem_baidu_data_lz&utm_campaign=bdpcdata9044
4.數極客
https://www.shujike.com/product/abtest.html
5.雲測（https://www.testin.cn/）等

國外：
1.Vwo（https://vwo.com/）、
2.Optimizely（https://www.optimizely.com/）
3.Omniture
https://www.adobe.com/marketing-cloud.html

我分別用吆喝科技、Optimizely 進行一個簡單的「競品分析」，分別從功能框架、使用流程上來對比一下國內外ab測試產品設計上的差別狀況

1）功能框架：
吆喝科技應該是國內提供ab測試數一數二的大廠，其具體功能以下：

optimizely公司是2010年創立，美國的一家資深提供ab測試服務的公司，功能豐富，自主化操做很強，對於不一樣場景的兼容也是別具一格，是很是值得你們學習和參考的一個產品，具體功能框架以下：

2）使用流程：
頁面展現：

使用流程：

吆喝科技實驗流程以引導式的交互方式進行，整個流程相對較「順」，單從操做角度上而言門檻不是很高。

而Optimizely相對來講比較自由，但每個操做配置都須要進行代碼集成，操做流程較國內而言相對較多，具體以下：
頁面展現：

上圖爲截取的部分配置頁面

操做流程：

若是是一次新的操做，Optimizely須要提早配置好指標、受衆人羣、屬性、功能等，每一個操做流程都會展現不少配置須要集成在sdk裏，對於使用者來講初始化過程有必定成本，不過對於開發者確實比較友好，只須要複製粘貼一段段代碼便可，若是有人能提早把相關信息配置好，那用Optimizely進行ab測試仍是比較香的。

通過對兩個產品的對比，ab測試的功能也就一目瞭然：

總結：
AB測試是數據驅動增加的核心方法，本文的目的在於能以「通俗易懂」的方式給你們普及一些基本概念，讓ab測試的使用和理解不在有「門檻「，全文分別從原理、基本概念以及相關平臺建設的角度進行敘述。

但因篇幅有限，相關知識點沒法更全面的爲你們展開，感興趣的童鞋能夠進行留言，後續相關的文章我也會逐一爲你們解答，若文章內描述有錯誤的也歡迎你們指正。但願你們讀完後能夠多多思考多多探討，讓ab測試真正能爲企業增加做出貢獻。

備註：
1.以上功能框架是根據各產品的功能說明文檔進行整理，僅供參考，若與實際有差別請於筆者聯繫，及時修正

2.流程圖並不是標準流程圖，只對比了主要流程進行的流程示意圖


一個數據人的自留地是一個助力數據人成長的你們庭，幫助對數據感興趣的夥伴們明確學習方向、精準提高技能。關注我，帶你探索數據的神奇奧祕

一、回「數據產品」，獲取<大廠數據產品面試題>

二、回「數據中臺」，獲取<大廠數據中臺資料>

三、回「商業分析」，獲取<大廠商業分析面試題>；

四、回「交個朋友」，進交流羣，認識更多的數據小夥伴。