我在Expedia跟數百萬用戶學到的AB測試原理

在我仍是Expedia網站創新經理的時候，這個角色要求我深刻網站找到更多被忽視的區域（一般是落地頁），並與設計師和開發人員一塊兒改進它們，這意味着不少AB測試。這些被忽視的有着數百萬獨立訪客的落地頁，被證實是使人難以置信的AB測試訓練場。

在作這份工做的時候，我看了不少關於AB測試的文章，直到今天依然如此，但我發現這些好建議裏有一個很大的缺陷。這些中的大多數彷佛在嘗試推銷給你一些類型的測試包或重複暗示例如按鈕顏色提供了50%的轉化，從個人角度看，這些做者甚至沒有本身作過AB測試。

我從對數百萬用戶進行的AB測試中總結了一些經驗和技巧，但願能幫到你。

1.首先關注大變化

很顯然不少人都知道這條，但若是你想測試着陸頁，建議從徹底不一樣的開始。像按鈕顏色這樣增量變化的測試當且僅當你認爲網頁的其他部分已優化，而且一般不能再獲得你認爲那麼大的槓桿的時候進行。

2.總體與部分的總和不一樣

有些人認爲，在某種程度上，經過測試徹底不一樣的頁面，你不能知道什麼元素正在推動改進。固然，確實如此，準確地瞭解影響的來源與測試結果是須要由你來平衡的。話雖然這麼說，但這種思惟假定了不存在的離散性，忽略了頁面元素與設計體驗之間的關係。沒有什麼是孤立存在的——例如，增長一個連接的點擊可能會犧牲另外一個的點擊。

此外，正如我在第一點提到的，對個別元素的測試應該滯後。

3.跳出率優化不必定能提升轉換率

這可能不夠直觀，但我無數次看到跳出率的優化並無帶來轉化率的相應改善，最壞的狀況，實際上還致使了轉化率的降低。爲何呢？不可能徹底知道，但一個明顯的解釋是，你「欺騙」一個用戶沿着他們不想要的路徑，或者「欺騙」你本身，認爲這個路徑將提供轉化。

例如，在一個帶有「瞭解更多」字樣的頁面上引入一個大按鈕可能會誘令人們點擊它。很不錯，但那又怎樣？你能夠向用戶提供該信息，而不須要點擊。你改善了跳出，但沒能優化轉化。

這是很明顯的一個例子。真實AB測試可能更細微。在落地頁上展現更優惠的廣告可能會吸引用戶點擊產品信息，但若是廣告與客戶的相關性不高，還會對轉化機會有不利影響。

4.關於跳出率的另外一個有用的註釋

即便假設跳出率的改善一樣也帶來了轉化的改善，你也沒法比較跳出率改善跟轉化改善。它們的相關性沒法肯定，這裏用一個例子說明這一點：

假設你有一個在線業務出手 Patrick Swayze 電影的 DVD，你對落地頁進行了一些設計更改，跳出率從20%優化到10%，50%的改善，這個數字很不錯！所以，你應該會看到轉化率也能提升50%？不是這樣的。跳出率顯示了多少人離開你的網站，而不是留下來的百分比。所以，你須要考慮的是留存率而不是轉化率。你看到的是留存率從80%提升到90%，提升了12.5%。你想象不到我必需要對多少人解釋這一點。

5.瞭解統計學

他們說，對經濟學的基本理解不什麼都不懂還差。在不瞭解供需經濟學的細微差異和假設的狀況下解讀供需經濟學的影響，會致使對不值得的結論有很大的信心。

統計學也如此。可悲的是，一些AB測試從業者甚至不理解他們從事的是純粹的統計工做。與大多數對知識的錯誤使用同樣，不多會出現「我不知道哪一個更好」的狀況，更多的會致使假陽性結果。

我不會在統計數據記錄一個崩潰的過程，但這裏有一對經驗法則

測試結果的差別越小，得出結論所需的樣本量越大
除非結果是壓倒性的，每一個測試桶須要至少1000個（可能更多）的獨立訪客來得出一個值得采納的結論

6.用戶行爲須要適應時間

若是你的網站已經有至關數量的重複/忠實用戶，那麼你須要運行AB測試很長時間，而後才能依賴數據。爲何？由於用戶已經習慣了與現有網站的交互。引入新功能或設計可能會形成混亂並下降性能。另外一方面，新功能/設計可能足夠新穎於是引發了更多參與，但這並不能表明長期使用。

這裏沒有別的經驗，就是運行測試，運行足夠長時間的測試。在某些狀況下，你可能須要運行測試至少一個月，以瞭解更改的長期影響。觀察數據趨勢，並在看到趨勢穩定後對其結果更有信心。

結論：AB測試是對良好設計實踐的有益補充，而不是替代

須要有一個平衡。不能過於依賴AB測試而不理解其侷限性，也不能徹底拒絕AB測試。最理想的狀況應該是有一位瞭解多變量測試的設計師。

本文由吆喝科技編譯自：http://www.throwww.com/a/1ke