最近學到的ABTest知識

前言

只有光頭才能變強。

文本已收錄至個人GitHub倉庫，歡迎Star：github.com/ZhongFuChen…

若是以前看過我文章的同窗就知道我在工做中搞的是推送系統，以前寫過一篇 帶你瞭解什麼是Push消息推送，裏面也提到了咱們或許能夠作ABTest，最終提升推送消息的點擊率。

那什麼是ABTest呢？這篇文章帶大家入門一下。

1、ABTest的介紹

好比我寫了一篇關於ABTest的文章，我但願這篇文章的閱讀量能上2500，可是我沒想好標題叫什麼比較合適。一條推文的標題很是能影響到閱讀量，因而我想了幾個的標題：

• 最近我學到的AbTest知識
• AbTest入門

而我不知道哪一個標題效果會更好一些，因而我作了這麼一個嘗試：

1. 《最近我學到的AbTest知識》這個標題推送給10%的用戶
2. 《AbTest入門》這個標題推送給10%的用戶
3. 過一段時間後，我看一下效果，哪一個標題的閱讀量更高，我就將效果高的標題推送給剩餘80%的用戶

要注意的是：在推送的文章的時候，除了標題不一樣，其餘因素都須要相同（不能被別的因素給干擾），這樣看數據的時候纔有說服力。

1.1爲何要作ABTest？

作ABTest的緣由其實很簡單，咱們在作業務的時候會有各類各樣的想法，好比說：

• 「我以爲在文案上加入emoji表情，這個推送的消息的點擊率確定高」
• 「我以爲這個按鈕/圖片換成別的顏色，轉化率確定會提升」
• 「我以爲首頁就應該設計成這樣，還有圖牆應該是這樣這樣..「
• .....

可是，並不是全部的想法都是正確的，極可能由於你的想法把首頁的樣式改掉，用戶不喜歡，就影響到了GMV等等等....

一個好的產品都是迭代出來的，而咱們極可能不清楚此次的迭代最終是好是壞（至少咱們是以爲迭代對用戶是好的，是有幫助的，對公司的轉化也是好的），可是咱們的用戶未必就買帳。

因而，爲了下降試錯成本，咱們就作ABTest。一個功能作出來，咱們只放小流量看下效果，若是效果比原來的功能差，那極可能咱們這個想法沒有達到預期。若是小流量效果比預期要好，再逐步加大流量，直至全量。

2、怎麼作ABTest？

從上面的案例，其實咱們大概知道，ABTest最主要作的就是一個分流的事

• 將10%流量分給用戶羣體A
• 將10%流量分給用戶羣體A

咱們須要保證的是：一個用戶再次請求進來，用戶看到的結果是同樣的

好比說，我訪問了Java3y，他的簡介是：「一個堅持原創的Java技術公衆號「。而一個小時後，我再訪問了他一次，他的簡介是：「一個乾貨滿滿的技術號「。而一個小時事後，我又訪問了他一次，他的簡介是：「一個堅持原創的Java技術公衆號「。

這是不合理的，理應上用戶在一段時間內，看到的內容是相同的，否則就給用戶帶來一種錯亂感。

OK，因而通常能夠這樣作：

• 對用戶ID(設備ID/CookieId/userId/openId)取hash值，每次Hash的結果都是相同的。
• 直接取用戶ID的某一位

如今看起來，ABTest好像就是一個分流的東西，只是取了個高大尚的名字叫作ABTest。

2.1 ABTest更多的內容

假如我作了一個UI層面上的ABTest，佔用全站的流量80%，如今我還想作搜索結果的ABTest怎麼辦？只能用剩下的20%了？那個人流量不夠用啊（我可能要作各類實驗的呢）。UI層面上的ABTest和搜索結果的ABTest能不能同時進行啊？

答案是能夠的。由於UI層面和搜索結果(算法優化)的業務關聯性是很低的。若是要作「同一份流量同時作UI層面上和搜索結果的ABTest」，那要保證「在UI層面作的ABTest不能影響到搜索結果的ABTest」

• 業界應用最多的，是可重疊分層分桶方法
• 層與層之間的流量互不干擾，這就是不少文章所講的正交(流量在每一層都會被從新打散)

咱們就能夠這樣幹：經過 Hash(userId, LayerId) % 1000 相似的辦法來實現

• 每一層的實驗無論有多少個，對其餘層的影響都是均勻的

個人理解：

爲了實現UI/算法/廣告 這些業務上沒什麼關聯的，可以使用同一份流量作ABTest測試，因此分了層。流量通過每一層都須要將流量從新打散(正交)----每層實驗後，不會影響到下一層的實驗

若是業務關聯強的應該放在同一層，同一層多個實驗是互斥的（好比 一個按鈕顏色改成綠色做爲一個實驗，一個按鈕的樣式改爲大拇指做爲一個實驗。這兩個實驗的流量是要互斥的（否則你咋知道用戶是由於你的按鈕顏色仍是樣式而點擊）

最後

一個完整的ABTest系統，不僅僅只作分流，還會給用戶(咱們程序員)提供一個方即可配置的後臺系統，作完實驗提供數據報表展現等等等~

微信公衆號不支持外鏈，在後臺回覆「AB」獲得更多的ABTest資料

參考資料：

• oldj.net/blog/tag/a-…
• www.infoq.cn/article/BuP…
• www.jianshu.com/p/de8d9f0b1…
• liyaoli.com/2018-04-29/…
• zhuanlan.zhihu.com/p/25319221
• zhuanlan.zhihu.com/p/52424409
• qiankunli.github.io/2018/06/27/…

樂於輸出乾貨的Java技術公衆號：Java3y。公衆號內有200多篇原創技術文章、海量視頻資源、精美腦圖，關注便可獲取！

以爲個人文章寫得不錯，點贊！

近期推薦：最低價購買雲服務器+搭建教程