A/Btest——視覺設計與數據增加擦出的火花

做者：囧小su

​

在平常的產品和運營設計中，常常會有不少直覺性的想法，經過一些經驗分析或者競品參考等猜測是否是某一種設計樣式會更好或者某一種設計策略會更成功。

然而，直覺的判斷一般都偏感性，跟思考者的工做經驗和審美觀更相關，咱們以爲用戶想要的東西是否真的是用戶想要的呢？

若是說設想的提出階段屬於事物的認知層面，那麼設想的驗證階段則屬於邏輯推理層面。

如何有效的對設想進行驗證？

在告別了人口紅利期後，現階段互聯網產品更可能是在考慮用戶已固定的使用習慣的基礎上，經過科學嚴謹的方式完善設計體驗，這個階段數據驗證十分重要。

而A/Btest就是一種能夠快速對比驗證數據的有效手段。

什麼是A/Btest？

方法概述

簡單來講，A/Btest在產品優化中的應用方法是：在產品正式迭代發版以前，爲同一個目標制定兩個（或以上）方案，將用戶流量對應分紅幾組，在保證每組用戶特徵相同的前提下，讓用戶分別看到不一樣的方案設計，根據幾組用戶的真實數據反饋，科學的幫助產品進行決策。

適用場景

1. 廣告下載頁（可經過測試提高下載的轉化率）

2. 運營活動H5（可經過測試提高下載或頁面分享的轉化率）

3. APP用戶體驗（可經過測試進行產品可用性驗證及功能點擊率的轉化提高）

等等一切但願經過數據驗證不一樣假設方案的可行性的頁面

可測試內容

1. 視覺設計樣式（例：按鈕顏色、插畫內容）

2. 產品文案內容（例：當即下載/當即使用）

3. 頁面佈局（例：列表佈局/卡片佈局/瀑布流佈局）

4. 交互體驗（例：長按刪除/右滑刪除）

5. 產品功能

6. 推薦算法（例：在用戶已連WiFi狀況下推薦網絡加速/在用戶已連WiFi狀況下推薦新聞資訊）

等等一切能夠拆分不一樣方案進行對比的內容

但在實際操做中遠沒有這麼簡單，如何尋找A/Btest的測試點？如何制定有效的A/Btest計劃？如何判斷設計方案是否與目標數據相關聯？這些都是接下來會一一爲你們解析的。

如何進行A/Btest？

第一步：明確測試目標（目標要明確能夠直觀量化，顆粒度要儘可能細）

測試目標大體能夠分爲兩大類，他們的來源也各不相同。

簡單目標：例如廣告頁面的點曝比、新上線功能的UV，這類目標一般來源於產品需求，或功能上線後的數據反饋，是比較直觀的有明確修改點的。

複雜目標：它能夠是來源於項目的KPI，例如新手期的激活、成熟期的商業化、流失期的用戶迴流率等等。但具體ABtest的點必須是要細化到能夠直觀量化的，好比新手期的激活引導的點擊率，成熟期的商業化廣告點曝比，流失期的用戶召回push的點擊進入率等等。這裏以WiFi管家的用戶留存爲例，解釋下如何尋找複雜目標是如何被量化拆分更精細的顆粒度的。

第二步：找到關鍵提高點（拆分流程中可提高的指標）

折損點能夠經過後臺漏斗數據分析等發現，對用戶使用時的流程步驟進行拆分，看看流程中有哪些關鍵的轉化節點是有提高可能性的，或者哪些點是能夠和測試目標直接相關聯的。

如在提高廣告頁面點曝比的時候咱們能夠分析當前廣告頁的各類元素，以及他們可能會和點曝比的相關性，例如：廣告主打的宣傳文案和廣告總體的畫面設計感。

而在提高用戶留存的案例裏面咱們發現有超過半數的用戶無任何操做離開，繼續深挖各漏斗節點發現全部新用戶中有不少的新用戶都是沒有開啓權限而且沒法對頁面進行任何操做的

第三步：設計實驗樣本（排除無關因素和實驗樣本間的明顯差別）

設計實驗條件的時候要充分分析問題的影響因素，排除一些和結果沒有明顯關聯的因素，設計實驗樣本時須要結合經驗避免一些很明顯的差別。

交叉型樣本：

找到可能對現有版本的實驗目標相關的影響因素並一一列出，經過交叉的方式進行從新組合產生實驗樣本，此時A/Btest的實驗樣本爲舊方案+A方案+B方案

定量型樣本：

固定元素不變的狀況下調整其餘可能的影響因素，查看實驗結果，此時A/Btest的實驗樣本爲舊方案+A1方案+A2方案

以WiFi管家爲例，咱們在觸發條件相同的狀況下對於資訊Push（同類別同文案），設計不一樣的觸發器：圖片or按鈕，測試圖片和按鈕對於用戶的點擊慾望是否會有影響。

改善型樣本：

咱們能夠經過走查線上版本定位體驗問題，提出改進假設進行優化設計，此時A/Btest的實驗樣本爲舊方案+新方案（新方案肯定好大方向後又能夠繼續進行單點的優化測試）

以WiFi管家爲例，咱們的目標是提高用戶的頁面操做率從而達到提高留存的做用，設計對應數據折損點找到關鍵界面，結合用戶畫像和產品操做功能排名制定設計策略

1.【新用戶】功能激活的引導

2.【無權限用戶】進行開啓權限的引導

3.【無WiFi用戶】進行其餘功能挽回

第四步：上線測試（儘量的下降全部實驗樣本的測試環境差異）

精準的A/Btest流程和注意事項：

1. 不一樣版本方案並行（同時）上線試驗，儘量的下降全部版本的測試環境差異

2. 科學的進行流量分配，保證每一個實驗樣本的用戶特徵相相似

3. 讓用戶展示對不一樣版本的真實使用體驗，產品則應實時關注各版本的數據表現，並根據數據反饋及時調整試驗流量

4. 在分析實驗總體數據的同時，須要從多個維度細分考量試驗數據結果，除了當前A/Btest的測試點埋點之外還須要注意其餘可能被影響的環節

非精準A/Btest流程和注意事項：

由於並非每一個項目均可以進行A/Btest，有些是由於項目並無支持A/Btest的能力，有些是由於想要發佈的平臺並不支持嚴格意義的A/Btest（好比電子市場），但又想看看不一樣設計樣式對於數據的影響那麼就儘可能遵循如下原則進行測試

1. 儘可能保證試驗版本的用戶特徵相相似，如渠道來源相同

2. 儘可能避開節假日等會對數據波動形成短時間較大影響的時間段

3. 不一樣實驗樣本保證一樣的實驗時常，儘可能取上線後數據較爲穩定時段的平均值

第五步：回收數據並記錄（得出最優方案後全量下發）

最後建議設計師本身整理本身的數據記錄表格，記錄下本身的設計策略和方法，培養解決問題的思惟方式以及作好數據閉環的良好習慣。

關注【IVWEB社區】公衆號獲取每週最新文章，通往人生之巔！