AB觀｜「中國移動」爲什麼能制霸4G時代？

中國4G市場有多重要？2017年中國4G用戶將超過10億，同期全球4G用戶也不過20億左右。中國移動4G市場統治力有多強？當中國聯通和中國電信，在2016年末還在爲4G註冊用戶數破億而彈冠相慶時，中國移動已經成爲全球首個4G LTE註冊用戶超過5億的運營商。在中國，每增長10個4G用戶，就有6個來自中國移動，全世界每增長10個4G用戶，就有3個來自中國移動。

到底是什麼緣由，讓中國移動在4G時代呈現出一家獨大的態勢？坊間最大的兩個謠言莫過於——初期獨佔技術佔優的TDD牌照與TDD與TD-SCDMA的3/4G平滑演進。

闢謠一：2013年末，工信部「同時」向三大運營商發放了TD-LTE牌照，不存在中國移動初期獨佔TD-LTE牌照的狀況。兩年後，工信部只向聯通電信辦法了FDD牌照。只是拿到TDD牌照後，聯通電信並未跟進基站建設，始終苦等FDD牌照。高通等公司相關研究代表：TDD的分佈頻段整體高於FDD，其覆蓋能力先天弱於FDD，TDD並非某些小編嘴裏所說的香餑餑，工信部給中國移動的這張牌也並非「四個2帶兩王」。

闢謠二：關於3/4G平滑演進，一衆小白認爲TD-SCDMA可平滑演進到TD-LTE，而聯通電信沒法實現平滑演進。實際上，不管是移動的TD-SCDMA仍是聯通的WCDMA仍是電信的CDMA，都沒法向任何4G LTE技術平滑演進。之因此大衆會誤解，是由於官方將TDD-LTE命名爲TD-LTE，讓你們認爲這是TD-SCDMA的LTE版。

既沒有技術傾斜，又沒有技術便利，甚至還有在3G時代的第一波團戰中TD-SCDMA給本身放了一個暈眩和弱化技能，中國移動居然能實現4G用戶快速增加。這種如同武俠小主說中「打通任督二脈」帶來的逆天轉變，恐怕讓許多運營小夥伴心理戲和看完下圖同樣樣的——竟然還有這種操做！

這裏有一個大背景要交代：移動互聯網發展初期，受到社交媒體軟件OTT服務衝擊，面臨管道化危機。中國移動切實感覺到了用戶體驗在用戶「增加「留存」方面的重要性。新環境、新形勢，居安思危的中國移動意識到本身已走到了十字路口。

站在路口的人有不少，但是真正走在正確道路上的寥寥無幾。在中國，許多科技互聯網企業最終都演變成勞動密集型企業，其根本緣由就在於它們沒法體會「試驗驅動創新、數據驅動決策」的精髓。中國移動意識到並找到了合適的工具，選用了優秀的A/B測試工具（有哪些？），並普遍應用在旗下的服務和App之中，不只「想到」，並且「作到」。

讓咱們經過三組案例，來了解一下中國移動是如何在4G時代經過A/B測試工具實現持續創新和快速決策的。

01 案例一：4G管家——業務改名優化

4G管家，是中國移動爲4G用戶專門定製的移動端APP。您能夠將4G管家看做升級版的「中國移動移動營業廳」App。在上線衆多的XX移動App以後，仍然單獨上線4G管家，並採用全新的定位、接入大量專屬服務，足以證實：

中國移動打算在產品體驗層面上打出差別化，讓新老用戶都能與以往的移動產品區分開。所以，用戶活躍度就成爲4G管家的核心關注指標，每一處修改不只要大膽創新並且要穩妥慎重。

此時，產品部門提出了一個更新計劃：將業務文案由「話費餘額」修改成「話費帳單」，並對應在APP首頁和服務頁面進行修改。

按照以往的思路，大體的流程可能會是這樣的：產品部門提出更名需求，討論後肯定「話費帳單」，全量更新後，若是數據正向還好，若是結果指標不理想，就須要緊急回滾，如此反覆，怎麼看都不像一次產品決策，更像是一次豪賭。

好在當時中國移動已經開始接觸A/B測試，他們採用 A/B測試 （吆喝科技提供）單盲試驗的方式，將兩個版本同時測試，對不一樣版本的用戶進行行爲對照試驗（以下圖所示）。吆喝科技的AppAdhoc A/B Testing採用科學的試驗流量分割，使得每一組試驗對象具有一致的用戶特徵，並在試驗過程當中也能夠隨時調整用戶流量。

此時，中國移動能夠將優化指標分爲三個維度進行觀察：基礎指標（PV、UV）、關鍵指標（第二天留存率）、核心業務指標（七日留存率、餘額入口點擊量、餘額入口點擊率），從而判斷本組試驗從基礎到核心業務的數據表現。

這次試驗在運行了近三週以後（通常來講，爲了得到更加可信的數據結果，試驗運行週期應至少保證1-2個完整的天然周），後臺數據已經可以很是明確顯示出：

• 試驗版本的「話費帳單」文案在安卓端和iOS端的指標置信區間顯著，上下限均爲負值，致使核心業務數據降低近23%；並且試驗版本對iOS端部分核心關注數據有負面影響；用戶對試驗版本文案的接受度不高，總體功能識別度低於原始版本的「話費餘額」文案。

• 原始版本，無疑經過直觀數據證實了起產品合理性，產品團隊綜合考慮了用戶對於餘額業務的使用狀況和核心價值後，最終決定放棄這次求改維持原文案不變。

此後，中國移動在4G管家上進行了「防詐騙短信」功能灰度發佈。「詐騙短信」鑑別這樣的功能呼聲一直很高，爲何中國移動要採用灰度發佈的形式呢？

一方面，移動端入口寸土寸金，一個新功能的露出，也就意味着其餘功能顯示層級降低，有可能會形成總體運營效果的降低；另外一方面，增長的防詐騙短信功能會對4G管家的人工服務工做量形成較大壓力，須要在保證無使用異常的狀況下，實現總體的平穩過渡。

AppAdhoc A/B Testing平臺支持灰度發佈的功能，企業可在試驗過程當中隨時調整用戶流量，在版本穩定無bug的前提下，逐步擴大新版的使用羣體，完成產品發佈的平穩過渡。

經過AppAdhoc A/B Testing的灰度發佈功能，這次試驗在三週左右的時間內，順利上線了新功能，並獲得了積極的數據改變。試驗結果代表：

• 新功能的上線使用戶活躍度獲得了大幅提升，對iOS端的核心業務數據提高明顯（平均增長68%）；

• 防詐騙短信功能發佈無異常，有效緩衝了人工服務的壓力，保證了新功能的平穩順利上線。

目前，4G管家應用已經完成了其歷史使命，改名爲10086（APP），可是中國移動在移動端的努力尚未結束，涉及10086的內容咱們在案例三中還會展開說明。從這兩個例子中咱們能夠看出，在「試驗驅動創新、數據驅動決策」方面，A/B測試相比經驗主義的決策模式，有着難以匹敵的優點——低成本、高效率、風險可控、精確度高。業界專家曾言，頂級的PM也只能跑得贏一半的 A/B Testing。

02 案例二：中移在線 APP 導流頁優化

據預測，微信將在2017年內實現總用戶量10億的量級……對，三大運營商4G註冊用戶總和……求各位運營商小夥伴心裏陰影面積(⊙﹏⊙)……幾乎覆蓋了全部中國移動用戶，若是競爭在這玩得風生水起，後果不堪設想。讓每個微信用戶都轉化爲移動的用戶，這是中國移動喜聞樂見的。

在公衆號的主要服務模塊以及每一期運營活動中，都有一個專門引導用戶下載APP的落地頁，10086的數據部門負責人發現，目前版本的下載界面很長（有6屏之多）,雖然每屏都有引導下載的入口，但數據顯示，除了首屏的下載轉化相對較多之外，其餘幾屏的數據很不理想。在綜合評估後，產品部門決定將新版下載界面縮短至一屏，看是否能對下載轉化進行提高，具體方案以下：

原始版本：頁面內容相對豐富，分爲6屏從不一樣角度描述APP功能，且每一個頁面都有轉化按鈕；
試驗版本：將原有的6屏內容整合爲單一屏，同時加強CTA按鈕的視覺效果。

本次試驗選擇A/B測試與灰度發佈相結合的方式，初始流量分配4%（各版本分配1%的流量），在確保真實環境下無bug及報錯狀況後，逐步調大試驗流量，試驗週期爲7天。

在觀察對比不一樣版本的試驗數據後，產品部門得出了科學的試驗結論：新版入口不論從點擊仍是轉化來講，數據都達到了統計顯著，樣本提高幅度在55%，從置信區間的預估看來，整合爲一屏後的導流轉化至少能夠增長12.4%；

這些數據很好地驗證了數據部門和產品部門的假設，基於中國移動10086公衆號現有的用戶，過多的功能介紹反而會分散用戶的注意力，只須要簡明扼要的表達移動端能夠給他們帶來的價值，用戶天然就會下載產品；本次試驗的帶來的寶貴經驗，也爲後續的產品優化提供了更加明確的方向。

03 案例三：10086客服界面改名優化

多年以來，網友以「調戲」10086短信自助服務爲樂，或許也真的是由於中國移動短信自助服務真的很好用。10086在許多網友心中就是中國移動的代名詞，前文提到的4G管家後期正式改名爲10086，也證實了10086所蘊含的品牌價值。

如何在10086APP上延續10086的服務口碑，並不只僅是簡單的服務接入和功能整合，而涉及到體驗遷移是否順利的大問題——沒有基本盤，海量4G用戶從何談起？

目前10086 APP客服問題頁面默認採用「熱門問題展開形式」進行展示，產品部門推斷這種展示方式致使「積分」等類型問題、和撥打10086等按鈕沒法一屏展現，進而影響用戶快速找到相關問題知識，形成客服界面的使用率較低。可能幾個問題穩下來以後，用戶依然一臉懵逼、無奈離開。

爲了提高首頁各問題欄目的點擊量以及在線客服支持的利用率，下降用戶在APP內撥打10086次數，減小10086客服中心壓力，產品部門決定經過A/B測試修改應用中客服界面的佈局和按鈕，決定建立3個試驗版本，具體方案以下：

本次試驗選擇A/B測試與灰度發佈相結合的方式，初始流量分配4%（各版本分配1%的流量），在確保真實環境下無bug及報錯狀況後，逐步調大試驗流量，試驗週期爲14天。同時，將各版塊中問題欄目的點擊和「聯繫在線客服」的按鈕點擊，做爲本次試驗的核心關注指標。

這一次測試和發佈，最紅數據結果很是重要，影響也很是深入，讓咱們先來看看，最終都得出了那些結論：

• 不論「熱門問題」的展開與否，仍是「撥打10086」按鈕存在與否，對用戶點擊不一樣類型的問題欄目都沒有顯著的直接影響；若是要提高問題欄目的點擊，要關注具體問題的以及答案的質量；

• 從引導用戶點擊在線支持來講，不展開「熱門問題」並去掉「撥打10086」按鈕的試驗版本3效果最好，統計顯著結果並提高了近25%；

• 對於試驗版本1，數據結果顯示當「熱門問題」欄被摺疊，頁面最下方的客服和撥打10086按鈕上移，用戶關注熱線以及在線客服的興趣也會相應提高，其中選擇撥打電話的用戶提高更加明顯；

• 這些數據證實用戶對頁面下方的按鈕使用率（包括撥打10086和使用在線客服），與「熱門問題」的是否展開仍是有必定關聯的，產品部門能夠依據本次試驗的寶貴經驗，爲後續的優化明確方向。

讓咱們來看看10086最新的用戶界面：在線服務被首頁推薦，做爲下方三個TAB標籤之一併劇中，頂端突出在線人工客服，隱去10086熱線，展開了熱門回答，精選了露出的題目，並在每一個分類下添加了標籤，幾乎每一處改動都是基於此次試驗所得出的結論。

A/B觀

「管理方式越落後，經驗主義越盛行，產品決策越依賴運營能力和供應鏈管理能力，而非產品創新。即使像中國移動這樣佔據主導地位的企業，核心競爭力依然來自產品創新與體驗。而提高產品體驗就要學會用試驗驅動創新、用數據驅動決策——A/B測試，是被國際一流科技公司廣泛採用的數據分析工具和產品決策工具。科學運用A/B測試，纔有機會跑贏競品、跑贏巨頭、跑贏整個行業。」