A/ B測試——你作的是錯的

如下內容由Mockplus團隊翻譯整理，僅供學習交流，Mockplus是更快更簡單的原型設計工具。

如何有效地進行A / B測試，以達到持久的效果。

不少公司但願經過對一些營銷網站進行調整來增長收入和使之更容易被用戶接受。這意味着須要更多的轉化次數，更多的點擊次數，更多的分享和更多的用戶。他們告訴你先作什麼呢？首先，進行A / B測試吧！比較頁面的兩個版本，肯定一個關鍵指標（例如點擊次數），並查看是否得到更多點擊次數。可是，這是真實有效的嗎？這真的是你應該採起的方法嗎？咱們來看看具體數據。

在本質上，A / B測試是一個實驗，以相對於定義的度量來評估多個(一般是2)版本的特性或頁面。

這篇文章注重的是淺談A / B測試——測試那些團隊給用戶交付有效價值的輕微改變。

A / B測試----治標不治本的創口貼

對於擁有數百萬用戶的應用程序，你的應用程序的輕微改變（如顏色，佈局和語言）可能會使你的關鍵指標有着顯着的增長，例如，更多點擊次數和用戶參與度。可是，真正的問題來了：對於擁有較小用戶羣的公司，你應該嘗試專一於不一樣的「註冊」按鈕顏色仍是專一於切實使你的產品更好的元素？

對許多公司來講，A / B測試成爲了許多公司價值貧瘠的創口貼。若是你的內容沒有被分享，也許你的內容實際上不值得分享，無論你將「分享按鈕」作的有多棒，結果都是同樣的!

此外，也許你的目標不該該是得到預期的按鈕點擊次數。也許你的主要目標應該是與用戶之間創建信任，提供沙盤演示，或讓潛在客戶作出決定。

調查數據

AppSumo評估，實際上只有25％的A / B測試產生了有意義的結果。 爲何是這樣的呢？那麼，咱們首先來定義什麼是有意義的結果。對於許多這樣的測試，主要指標是試圖改變會話率。因此，若是會話率沒有增長，那麼說明測試失敗了。

不到25％的A / B測試產生了有意義的正面結果 - AppSumo

可是，咱們能夠用不一樣的方式來看待它。若是更改你的銷售口號標題，banner圖或CTA沒有提升指標，那麼，這也許代表更大的問題。失敗的測試也應該是一個指標，說明：

1.你的網站訪客尚未準備購買

2.除了註冊，你的網站訪客還在尋找其餘的東西

3.你的核心產品根本沒有吸引力

4.須要爲產品進行更多合格的深度測試

下一個數據集來自於2016年5月1日至5月30日進行的一項定性和定量的a/b測試(西北部，IDS - 賈斯汀·貝克，2016年)。儘管這並非全部調查的最終結果，但它仍能給咱們一些有意義的看法。

關鍵點

●45%的受訪者表示，他們的公司每3個月就開始一次新的AB測試，另外，40%的人每週或每個月進行一次;

●60%的受訪者說他們的AB測試持續時間是在1周到1個月之間;

●38%的受訪者說他們的AB測試實驗中只有不到10%真正轉化爲實際行動;

●45%的受訪者表示，自AB測試後，應用程序的改變會持續1到6個月。

只有10％的A / B測試實驗產生了可操做的變化 ——正式發佈新版本的頁面或功能。

訪談數據

爲了補充定量研究，A / B測試人員（2至6年的A / B測試經驗）被問及關於A / B測試功效的開放性問題。如下是訪談獲取的關鍵數據：

50％的團隊因爲不肯定或測量不佳的數據，沒法從A / B測試實驗中作出決定。

●12位受訪者中有10人指出，A / B測試的主要缺點是90％或更高比例的測試實驗是「失敗」的。

●12名受訪者中有6人指出，根據A / B測試結果進行產品決策是很是困難的，由於大多數結果是不肯定的或明顯是失敗的。這意味着大約90％的時間是保持現狀的。

●12名受訪者中有10人指出，A / B測試的主要好處是「增長收入」。

使A / B測試變得有用

總的來講，這些結果告訴咱們什麼呢？

公司可能會頻繁地進行A/B測試，因時間太短，致使高失敗率，使得A / B測試結果變得不那麼有價值和有意義。

這裏有一些技巧能夠幫助你的應用程序進行有用的A/B測試。

1. 不要分心——更改顏色、號召性文本和佈局可能會對你的關鍵性能指標產生微小的影響。然而，這些結果彷佛是很是短暫的。可持續的增加並非由一個按鈕從紅色變成藍色就能夠，而是來自設計人們想要使用的產品。

2. 不要把口紅塗在豬身上——更好的一頭豬仍然是豬。若是你是想賣豬，那你就作得很好。若是不是，那就專一於創造更好的用戶體驗和更好的價值定位。

3. 使用實際的統計數據——不要依賴於簡單的1對1的比較指標來決定什麼是有效的，哪些是無效的。「版本A的轉化率是20%，而B版本的轉化率是22%，所以咱們應該轉換爲版本B！」「請不要這樣作。」你要作的是使用實際的置信區間、z分數和統計上的重要數據。

4. 測試時間越長越好——你運行測試的時間越長，你的數據就會越好地解釋數據波動和無關的變量。不要在陣亡記念日的週末用紅/白/藍的主題進行測試，而後在接下來的一年裏切換到這個主題進行測試。

5. 失敗沒什麼的，可是失敗的代價是很昂貴的——若是你繼續發佈人們討厭的應用程序版本，那麼它對你的度量標準有什麼影響呢? 若是大多數測試實驗都失敗了，那麼你看起來更像是作對了，仍是作錯了呢？ 你花了多少時間來設計和實施A / B測試? 失敗和試驗是創建公司的天然產物。若是有些東西沒有做用，也許不是由於你的按鈕須要變得更醒目，也許是由於你須要讓你的功能變得更好。

文章太長，這裏作下總結：

有效的A / B測試是給你的客戶帶來持久，積極的價值。若是你陷入微乎其微的版本改變循環，那麼你基本上是給本身刨坑而不是推進你的產品發展。

測試有意義的功能，使用真實的統計信息，得到真實的反饋，並進行更長的測試時間。爲你的用戶提供真正的價值，而不是玩色彩和耍聰明。我不是貶低你的佈局被優化的重要性，你的副本是強大的，而且你的信息層次結構是流暢的。我想讓團隊經過增長價值和解決問題來思考改善用戶體驗，而不是經過在豬上塗口紅或嘗試用新的標題來舞文弄墨。

原文做者：Justin Baker

原文地址：https://hackernoon.com/a-b-testing-youre-doing-it-wrong-77d628ac9518

 Mockplus作原型，更快更簡單，如今下載Mockplus，免費體驗暢快的原型設計之旅。