螞蟻金服智能推薦引擎解決方案與實踐

摘要：以「數字金融新原力(The New Force of Digital Finance)」爲主題，螞蟻金服ATEC城市峯會於2019年1月4日上海如期舉辦。金融智能專場分論壇上，螞蟻金服人工智能部高級技術專家王志勇作了主題爲《螞蟻金服智能推薦引擎》的精彩分享。

演講中，王志勇表明螞蟻金服首次向公衆介紹了螞蟻金服智能推薦引擎，分享了螞蟻金服利用人工智能和大數據能力在推薦引擎上沉澱的大量經驗，並介紹告終合螞蟻自身優點打造的、可以靈活適配各類業務場景的智能推薦引擎解決方案（ARE）及其能力和優點。

王志勇 螞蟻金服人工智能部高級技術專家

首先，對「推薦」和「營銷」這兩個概念而言，每一個人的理解可能都各不相同。本文提到的推薦主要特指 「推薦引擎」，是爲了達到高效營銷這個 「目的」的一個「手段「，也就是經過推薦引擎實現更好的營銷，固然推薦引擎的能力不限於幫助營銷，也能夠幫助提高產品、服務、內容的用戶體驗，本文的分享將主要圍繞如下三個方面：

1、 螞蟻的業務場景

2、 螞蟻智能推薦實踐

3、 智能推薦解決方案

1、螞蟻的業務場景

螞蟻業務的進化
螞蟻金服的業務進化主要經歷了在線化、數據化和智能化三個階段的發展和演進過程。

從2004年支付寶成立一直到2012年，這個階段主要是工具的在線化。從最開始的擔保交易到轉帳、信用卡還款、水電煤繳費等功能，經過在線化的工具提高了效率，也沉澱了數據。這個階段，支付寶的營銷方式也比較粗獷，好比給全部人發一個相同的紅包或者優惠券，所以當時的營銷也主要圍繞打造一個好的工具，快速配置一個營銷活動、獎品，並確保在交易流程中的安全、穩定。

到了2013年，隨着移動互聯網浪潮、killer app 餘額寶的誕生支付寶APP的日活從不到百萬迅速增加到千萬級別。此時若是再使用本來粗獷式的營銷方式確定會出現問題，這個階段數據顯得愈來愈重要，營銷開始升級爲從用戶信息數據、用戶行爲數據、業務數據挖掘出來的人羣標籤，實現分客羣營銷，從而提高營銷效率。這個階段BI給運營人員提供宏觀的決策參考，但不一樣運營人員對業務的理解、對數據敏感度的差別會致使營銷效果不同。如今市面上大部分的精準營銷產品對應這個階段，一套有圈人能力的營銷管理工具。

到2016年左右，隨着人工智能團隊的成立，螞蟻金服逐漸開始以推薦引擎來幫助營銷，系統層面更實時的感知用戶行爲，算法層面經過機器學習能力來自優化決策系統。這個階段離線圈人只是決策的起點，推薦引擎會綜合用戶的歷史偏好、實時營銷反饋以及全站全部行爲事件來調整模型，提供更爲微觀的決策能力。這個階段對運營人員的要求也下降了，由於模型會不斷迭代糾偏。

金融生活場景
目前，螞蟻金服以及合做夥伴經過支付寶、財富、微貸、保險、網商銀行等產品已經可以覆蓋廣大用戶的大部分金融生活場景。

對於具體推薦的頁面而言，好比支付成功頁的推薦、廣告位、會員惠支付以及紅包等的背後都有螞蟻金服智能推薦引擎在發揮做用。

在支付寶的財富、微貸、花唄以及保險的頻道首頁，經過智能推薦引擎實現的「千人千面」。還有商家生活號以及生活圈、小程序，也有推薦引擎發揮做用。

2、螞蟻智能推薦實踐

對於螞蟻金服而言，在智能推薦方面存在着不少的挑戰。下圖中就列舉出了智能推薦所須要面對的6大挑戰。

1. 選擇人羣：如何基於數據和業務規則選擇合適的准入人羣？
2. 識別實時場景：如何識別出用戶所處的實時場景，好比什麼時間、在什麼地點、作了什麼事情？
3. 選擇獎品、優惠券、服務：這是推薦的核心問題，如何選擇合適內容推薦給用戶？
4. 流量渠道和創意：流量有成本，如何合理利用流量渠道，用最好的創意打動用戶？
5. 屢次推薦：推薦不是一次性過程，如何經過屢次推薦最終實現目標？
6. 平臺和架構：工程架構是基礎，什麼樣的架構能提高推薦模型迭代效率從而快速提高推薦效果？

人羣選擇
圈人通常經常使用的有三種：一是最多見的是技術數據挖掘的標籤圈人；另外比較高級點的是 lookalike圈人，經過給定的種子人羣特徵，去全量人羣中召回有類似特徵的人羣並作優選，從而擴散到一個更大的類似人羣；還有很經常使用也很簡單的是基於業務規則圈人。

實時場景事件
對於實時場景事件而言，早在2014年螞蟻金服剛開始構建智能推薦體系的時候，運營同窗對智能營銷的指望常常會用一個具象的case來描述：某用戶購買了一張8點鐘開始的電影票， 6點鐘他到了電影院所在的商場，打開支付寶APP，會收到一個推薦，本商場xx飯店的打折券。在具體實現上，咱們經過用戶實時事件來刻畫場景，實現實時場景推薦，與此同時，實時事件也能夠幫助在線訓練模型，實現機器在線學習（online learning）。

偏好與發現
發現用戶偏好是推薦的前提，除了數據收集和挖掘，模型選擇也很重要，這裏說一下螞蟻內部經常使用的模型：

注意力模型：深度學習中的注意力機制從本質上講和人類的選擇性視覺注意力機制相似，核心目標也是從衆多信息中選擇出對當前任務目標更關鍵的信息，螞蟻的業務場景豐富，致使數據比較多元，注意力模型能幫助當前推薦目標的達成；

Wide & deep模型：wide模型記憶（memorization）即從歷史數據中發現item（推薦內容）或者特徵之間的相關性，deep模型泛化（generalization）即相關性的傳遞，發如今歷史數據中不多或者沒有出現的新的特徵組合，尋找用戶的新偏好。

MAB算法：解決推薦的冷啓動問題，嘗試推薦新內容，而且經過用戶的實時反饋來不斷調整產品的曝光量，並優化整個模型。

智能創意
你們平時都會接觸到各類各樣不一樣的廣告，不一樣的廣告創意（文字、圖片、視頻）效果差異很大。這裏其實有兩個問題，一是AI能不能幫助咱們設計更好的創意，二是如何快速優選用戶承認的創意。咱們內部有個叫畢加索的系統，來提高創意設計效率和效果。

咱們收集了大量的廣告文案，運營同窗只須要簡單填寫需求信息，經過NLP技術會自動生成候選文案供使用者選擇。除了完整的文案建議，還能結合用戶標籤，也提供個性化文案模板，推薦系統會根據被推薦的用戶特徵來填充標籤值，實現個性化文案，例如車險到期是續簽廣告，「本田車主50元大禮」比「車主50元大禮」點擊效果要好不少（這個case只是簡單的規則標籤填充，更多的案例是算法生成）。

另外，對AI系統來講，候選創意的數量越多，算法的空間越大，快速生成更多的創意顯得很是重要。原來一百張圖片與文案的製做須要花費不少的時間和精力，而經過畢加索的圖文合成能力，能很快生成大量創意，例若有10種底圖和10種文案，能叉乘出100種創意。接下來就是創意優選，這100種創意都會得到必定的曝光，經過MAB算法能夠並根據用戶的實時反饋來調整每一個創意的曝光比例，某個創意的點擊率高，曝光率也就會愈來愈高，從而提高總體的點擊率。

強化學習

咱們發現，原來的營銷推薦，都是短時間的、離散的，一年下來營銷活動不少，也作活動數據的總結，總結會變成一些人腦海中的經驗，但沒有實時、持續的去優化咱們的用戶營銷方案。實際上營銷就像打高爾夫球，很難一次進洞，不斷調整咱們的營銷策略，讓每一杆揮得恰到好處，才能更快的接近球洞（目標）。另外一方面，用戶對產品的使用是持續的，用戶營銷會有拉新、促活、留存的任務，咱們站在用戶的使用角度去設計營銷產品，把活動、獎品、服務都算做用戶激勵的手段，經過強化學習，把用戶的每次行爲都做爲決策智能體（推薦引擎）的一次反饋，從而拿到總體最優的營銷效果。

快速迭代工程架構
數據、特徵、模型都很重要，但良好的工程架構是基礎。尤爲對算法來講，模型的快速迭代很是關鍵，若是優化一個模型，須要幾天才能發佈，活動也許早就結束了。在螞蟻金服內部有一套完善的工程架構來保證算法的快速迭代。和不少金融機構的業務相似，咱們的穩定性要求很是高，變動的發佈每每須要通過一個比較嚴格的流程。可是模型迭代通常不會影響具體功能，僅影響效果，螞蟻內部提供的微容器架構，讓算法模型迭代在容器內發佈便可，穩定快速。

模型的效果對比和驗證很是重要，咱們內部有專門的A/B Test平臺來支持實驗，對比不一樣模型的效果，從而優選模型。此外，螞蟻金服的工程架構還可以保證特徵的一致性，能保證離線訓練和在線預估使用同一份特徵和代碼，從而保證模型的效果。

3、智能推薦解決方案

上面主要分享了在螞蟻內部如何實現智能推薦的，接下來將和你們介紹螞蟻金服基於自身經驗並結合銀行、證券等公司業務特色打造的解決方案，產品名稱是螞蟻金服智能推薦引擎 (Ant Recommendation Engine)，下文都簡稱ARE。

1. 靈活適配多業務場景
在下圖中的業務模塊中，銀行、證券等金融機構的大部分業務和螞蟻金服相似，可能包含了支付、轉帳、存款、積分、借貸以及基金和理財等業務，咱們的ARE只須要經過接口和數據打通客戶的業務，實現各類業務場景的智能推薦。

咱們須要三部分的數據打通：

一是用戶經過上圖中最上面一層的「渠道」，好比手機APP、銀行櫃檯、PC客戶端等會看到推薦內容（產品、服務、活動、獎品等），若是用戶感興趣就會產生點擊行爲、購買使用行爲，而若是用戶不感興趣就可能直接離開，這些用戶的行爲數據會同步到推薦引擎數據中內心面；

二是用戶的其餘行爲，好比交易、信用卡支付或進入了某個地理位置等，這些數據也會同步到數據中心中；

三是業務自身的信息，好比商品名稱、基金產品收益率等須要導入到數據中心中。

系統通過提取和計算，從數據中心中得到實體類（item）特徵和用戶特徵（user），再進行模型訓練，得到最新的模型。

客戶的業務系統能夠調用ARE的接口來實現推薦。引擎內部會基於目標人羣，召回合適的推薦內容後經過模型和規則來實現打分排序。此外ARE還提供了經常使用算法庫、動態代碼（根據推薦場景編寫的代碼，無需走系統發佈流程）以及配置後臺，能夠靈活適配包括營銷、產品在內的幾乎全部業務場景。

2. 標準數據流程
ARE定義了標準的數據格式，系統打通時要確保用戶行爲事件的日誌格式都是標準的。若是客戶使用了螞蟻的mPaas產品，一般狀況下數據不須要作任何轉化，就能符合ARE的標準。數據格式、特徵工程、模型訓練，整個數據處理流程是標準化的，對於大多數客戶而言，能夠大大減小算法和數據相關的開發工做量。

3. 策略和實驗
針對銀行等金融客戶的特色，螞蟻金服智能推薦引擎已經將LR、GBDT、MAB等經常使用的推薦模型集成到ARE內部，結合上面的標準數據處理流程，客戶基本能夠在沒有算法工程師的狀況下實現基礎的智能推薦。此外，ARE也支持用戶將訓練好的模型（PMML文件）上傳到系統中。考慮到推薦的效果與運營規則也密切相關，所以在螞蟻智能推薦引擎中也集成了比較簡單的規則引擎。同時，系統還提供了A/B Test等工具幫助用戶選擇更加適合本身的策略模型。

4. 實時事件中心
舉個例子，A銀行的某用戶屬於低淨值用戶，某一天這個用戶忽然存了50萬，理論上這時候系統要馬上感知這個變化，本來推薦低門檻理財產品應該換成門檻高收益高的理財產品。使用好ARE實時事件中心能夠很容易地感知用戶變化，經過對於用戶行爲（日誌或者行爲數據）的標準化定義和實時收集，可以很快地刻畫出用戶行爲的空間，進而實現相關特徵的提取和模型訓練，基於這樣的能力就能夠實現更加實時的場景化推薦。

5. ARE的工程優點
ARE的架構是基於螞蟻金服內部所使用的推薦引擎，通過業務的多年考驗，系統架構已經很是成熟和穩定。ARE可以支持彈性伸縮和水平擴展，具備較高的性能，秒級響應請求，實時數據更新分鐘級影響推薦結果。最後，由於在架構方案中，智能推薦引擎基於的是螞蟻金融雲，所以監控體系、運維體系以及預警體系都很成熟，運維部署很是方便。

點擊閱讀更多，查看更多詳情