聊聊淘寶天貓個性化推薦技術演進史

引言：個性化推薦技術直面用戶，能夠說是站在最前線的那個。現在，從用戶打開手機淘寶客戶端（簡稱「手淘」）或是手機天貓客戶端（簡稱「貓客」）的那一刻起，個性化推薦技術就已經啓動，爲你我帶來一場個性化的購物之旅。本文將細數個性化推薦的一路風雨，講講個性化推薦技術的演進史。
本文選自[《盡在雙11——阿里巴巴技術演進與超越》。

一、個性化推薦All-in無線

　　無線個性化推薦起步於2013年10月。如今往回看，當時的阿里很好地把握住了移動端快速發展的浪潮，以集團All-in無線的形式吹響了移動端戰鬥的號角。個性化推薦團隊也是從All-in無線這一事件中孵化的。咱們從零開始搭建了個性化推薦算法體系及個性化算法平臺TPP。TPP這一個性化算法平臺對個性化推薦團隊的成長起到了相當重要的做用。基於TPP，個性化算法團隊成員們驗證算法的速度獲得了極大的提升，優化算法的速度從而也獲得了極大的提升。僅僅花了不到兩個月的時間，個性化推薦的初版算法就在「有好貨」 中初露鋒芒：結合基於主動學習的選品算法平臺TSP，個性化推薦團隊一舉打造了「有好貨」針對高端人羣的優質導購體驗。
　　2014年，隨着個性化推薦算法團隊對業務問題有了更好理解，以及技術研發的深刻，咱們逐步開發並上線了排序引擎RTP、標籤探索算法PairTag及在線學習引擎Olive（以下圖所示）等多項核心技術。個性化推薦算法也所以被快速地應用到「發現好店」、「愛逛街」、「猜你喜歡」及購物鏈路等手淘的各個主要場景中。其中，手淘底部的「猜你喜歡」商品瀑布流推薦是億萬用戶天天登陸手淘後必逛的場景，爲人們搜尋和發掘本身喜愛的商品提供了便捷的渠道。「猜你喜歡」也一舉成爲中國電商中最大的推薦產品。

　　　　　　　　　　　　　　　　　　　　　　　　　　　Olive流程圖

　　正是在All-in無線後的這一年，個性化推薦開始在阿里逐步成長起來。

二、 個性化推薦初逢雙11

　　2015年，個性化推薦第一次在雙11中大放異彩。還記得當年9月中旬，咱們正在維也納參加推薦系統最大的會議RecSys。逍遙子忽然來電，告知在2015年雙11上要全面開啓個性化推薦，隨行的同事們都很興奮，但咱們又不得不面臨缺少雙11實戰經驗的實際問題。固然，機會和風險每每是並存的。面對挑戰，咱們很快開始規劃進程和分工。回到杭州以後，團隊全員進入備戰狀態，咱們的努力在雙11當天獲得了回報。2015年11月12日凌晨，推薦算法團隊、手淘及天貓的衆多小夥伴們並不以爲疲乏，你們的臉上都閃爍着喜悅。個性化推薦算法在雙11大放光芒，一個又一個使人瞠目的數字足覺得證。個性化推薦的第一戰場「雙11主會場」更是自雙11開展多年以來首次達到了個位數的跳失率，其引導人數和人均引導頁面數都是前一年的2～3倍。不得不說，這些使人振奮的結果都要歸功於以前兩年中個性化推薦在無線端的落地。
　　2015年雙11主會場個性化算法（即「天坑一號」，以下圖）包括三個層次：樓層順序個性化、樓層內坑位個性化、坑位素材個性化。這三個層次自頂向下，在用戶體驗上造成一套完整的方案。其中：

• 樓層順序個性化使得女神看到的樓層順序多是女裝、美妝、天貓國際等，歐巴看到的樓層順序多是男裝、旅行、數碼等。

• 樓層內坑位內容個性化，使得在同一個樓層內，不一樣用戶看到的商品或店鋪不一樣，好比一樣都是美食控，喜歡辣味的用戶可能看見麻辣牛肉乾，喜歡甜味的用戶可能看見巧克力。

• 坑位內容素材個性化，使得同一個樓層的同一個坑位，即使算法預測兩個用戶都須要巧克力，但一個喜歡費列羅而另外一個喜歡德芙，也會在入口圖上展現不一樣的品牌。 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 「天坑一號」個性化主會場示意圖

這三層個性化中涉及多策略推薦算法、排序學習、合圖等多項技術。整個項目的進展用六個字來總結就是「時間緊任務重」。在多個團隊的辛勤工做及緊密協做下，咱們第一次全方位地將自All-in以來所積累的個性化推薦技術用於如此複雜的場景之中。
　　個性化推薦在「雙11主會場」取得成功的因素有不少。其中，最值得稱道的莫過於「首圖個性化」。在指甲殼大小的空間上，咱們對產品創意素材和文字進行精雕細琢和個性化投放。這一改變極大地提高了用戶活躍度，並催生了2015年雙11主會場的個性化項目。該項目的成功上線成倍地下降了會場跳失率。更重要的是，個性化推薦爲用戶帶來了全新的無線端購物體驗，而且爲阿里在電商領域的茁壯成長帶來了顯著的助力做用。個性化推薦算法團隊所以榮獲2015年CEO特別貢獻獎。下面引用阿里巴巴CEO逍遙子嘉獎信裏的一段話：「此次雙11的一大亮點是，咱們基於大數據的無線產品和技術的創新，使得整個運營效率有了大幅度提高。淘系的活躍用戶獲得了充分的引導和互動，獲得了大量個性化的展現和推薦，事實證實了大數據的巨大威力。咱們用大數據賦能了雙11，賦能了咱們本身的運營能力。」
正是在2015年雙11以後，個性化推薦的故事開始爲人們津津樂道。

三、 個性化推薦再戰雙11

　　2015年雙11以後，個性化推薦團隊乘風起航，繼續發力。正是這一年的持續發展，使得個性化推薦在2016年雙11中更進一步，遍佈無線端的各個場景。包括主會場在內的幾乎所有活動會場、產品都實現了個性化算法投放。個性化推薦團隊的表明做「海神」以及「魯班」（下圖爲魯班批量生產的創意Banner）都是首次在雙11中亮相。
　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　魯班批量生產的創意Banner
　　　　　　　　　　　　　　　　　　　　　　　
　　在2016年雙11中，面對更爲複雜的個性化需求，樂田及工程師們將全面升級後的個性化推薦完美地展示在雙11主會場中。雖然2016年的雙11主會場與2015年的「天坑一號」主會場極其類似，但這一次個性化推薦產品作得更爲精細了。其中，GBDT+FTRL、Wide & Deep Learning和AdaptiveLearning這三項最前沿的機器學習技術被應用到了主會場的三層結構中，極大地提高了在線模型的效果及實時預測的效率。
　　除了常規的個性化推薦以外，咱們在2016年雙11開始嘗試融合商家流量分配的個性化推薦。逍遙子在2015年雙11總結中提到：「咱們還要更上一層樓，利用大數據賦能給全部的商家，幫助他們運營好消費者，這樣才能讓咱們在大數據時代踐行‘讓天下沒有難作的生意’的使命。」隨着個性化場景的不斷升級，商家不少時候都對流量的波動一籌莫展。對那些有運營能力的商家來講，咱們但願其經過更多優質的商品和優秀的服務換來更多的流量或銷量上的部分肯定性。由於推薦各場景大小不1、定位差別大，有導購類場景、有成交類場景等，咱們須要根據場景自己的特性來進行流量智能調控。所以，商家賦能個性化推薦系統 — Matrix應運而生。Matrix系統主要用於調節用戶體驗、賣家流量訴求和投資回報率、電商平臺健康度等方面的效用，平衡場景的短時間收益和長期收益。在2016年雙11中，Matrix在部分場景的上線爲從此的賣家賦能積累了寶貴的經驗。
　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　賦能商家的Matrix系統流程圖

四、 個性化推薦的智能將來

　　個性化推薦從無到有，直到演進成爲CEO逍遙子口中的「電商基礎設施」，這一切來得極爲不易。面對更具挑戰的將來，個性化推薦能夠作得更好、更智能，而基於全局信息的個性化推薦將會是達成這一目標的重要途徑。
衆所周知，個性化推薦涉及多種不一樣層次、不一樣粒度的子任務。從推薦內容上來講，個性化推薦分爲商品推薦、店鋪推薦、品牌推薦、評論推薦等；從推薦目標上來講，個性化推薦分爲點擊率預測、轉化率預測、成交量預測等。雖然咱們當前設計的個性化推薦算法在TPP上實現了流程一體化，但咱們對每一個推薦場景面臨的子問題倒是單獨建模的。若是能從全局的角度分析用戶的喜愛，個性化推薦必然可以更上一層樓。
　　2016年，咱們已經經過深度強化學習（Deep Reinforcement Learning）技術對全局信息共享下基於多任務學習　　（Multi-task Learning）的個性化推薦進行了初步探索。從數據流通鏈路來看（好比下圖所示的手淘場景數據流通圖），咱們能夠很天然地將全鏈路多場景的推薦任務理解爲推薦系統面向用戶的連續決策過程。隨着用戶對不一樣推薦場景的持續瀏覽和交互，推薦系統對於用戶實時需求和意圖的理解會愈來愈清晰，所以也能夠更準確地爲用戶推薦更爲合適的內容。深度強化學習已經在人工智能領域掀起了新的浪潮，這一技術必將成爲個性化推薦智能化的最強武器。
　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　手淘場景數據流通圖

五、 總結

　　個性化推薦所取得的成就是一個「意料以外卻情理之中」的結果。僅僅經歷了短短几年的時間，淘寶和天貓就從以人工運營爲主分配流量和資源位的方式成功轉變爲以大數據和人工智能爲導向的新方式。與此同時，咱們初步創建了人工經驗與算法投放協同工做的機制。自2013年年末All-in無線以來的沉澱和積累終於逐步轉化成了果實。通過不斷地積累和打磨，個性化推薦技術變得愈加成熟和犀利，相信個性化推薦的將來會更好。
　　本文選自《盡在雙11——阿里巴巴技術演進與超越》，點此連接可在博文視點官網查看此書。
　　　　　　　　　　　　　　　　　　　　　
　　想及時得到更多精彩文章，可在微信中搜索「博文視點」或者掃描下方二維碼並關注。