螞蟻金服有哪些金融特點的機器學習技術？

在9月27日於杭州雲棲小鎮召開的雲棲大會「金融智能」專場上，人工智能大咖宋樂教授分享了金融特點機器學習在螞蟻金服的發展與應用。宋樂教授是螞蟻金服人工智能部研究員，同時也是美國喬治亞理工大學終身副教授和機器學習中心副主任。他仍是國際機器學習協會董事以及多個國際頂級會議的領域主席。

機器學習在螞蟻金服各個場景，已經像水和油同樣滲透，驅動着各類各樣業務的發展。會議現場，宋樂教授詳細介紹了金融特點的機器學習，重點闡述了三方面的技術：面向海量圖數據的深度學習系統、自動機器學習系統、多智體對抗強化學習系統。

如下爲演講的文字實錄：

面向海量圖數據的深度學習系統

金融場景和互聯網其它場景不同的地方是，其數據是一個巨大的金融網絡。在這個網絡中資金在不一樣的個體之間流動。資金流動過程當中涉及到各類各樣類型的節點，有用戶、商家、公司等角色節點，也有帳號等虛擬節點，還有WIFI設施、終端等設備節點，以及地點等物理節點。同時，這些節點之間的關係和信息交互的類型也能夠不一樣，從而造成巨大的圖。如何對這個圖進行機器學習建模，發現其中的有效信息，是很是複雜的過程。

懂機器學習的同窗知道，機器學習要對圖數據建模，首先須要把數據進行向量表徵，例如相似邏輯迴歸、決策樹等模型都須要先對數據進行向量表徵。但圖數據的輸入並非向量表徵，它是異構且不規則的，每一個節點的鄰居個數不同，鏈接的關係也不同，這須要一個平臺實現圖數據到向量表徵的轉換過程，而後再基於向量表徵實現各類各樣的機器學習模型。下圖展現了一種通用的圖向量表徵框架。

圖數據進行表徵學習以後，就能夠作各類各樣的應用，例如推薦和決策應用，也能夠作一些生成模型。如今有一個在學界比較火的深度學習模型叫作卷積神經網絡，其學習過程就是對每一個節點和邊用神經網絡參數化傳播的方式來實現深度神經網絡的建模。

螞蟻金服的圖數據很是複雜龐大，能夠涉及到上百億的節點，上千億的邊。怎樣把大致量的數據用起來，進行機器學習建模，須要很好的系統架構和平臺建設支撐。其中包括，怎樣存儲這些圖數據，從而可以支持快速查詢，快速推理；以及在邏輯層怎樣組織這些數據，是社交關係網絡、資金轉移網絡仍是媒介網絡。有了這些數據的邏輯組織和圖數據的存儲之後，還要作通用的算子，包括對圖進行採樣、隨機遊走和消息傳播。而後，基於這些算子的構件，咱們就能夠實現各類各樣的圖深度學習模型，其中既包括基於非監督學習的表徵學習模型，也有基於監督學習的表徵學習模型。進行表徵學習之後，就能夠經過機器學習對各類節點、邊的類型進行預測，或者時序行爲的預測，以及多重目標的預測。基於這些預測模型，咱們能夠經過離線學習打分或在線學習打分的方式來支持各類上層金融業務。

針對螞蟻業務海量的數據，除了前面講的平臺的架構設計的思考，還有一些技術上的難點須要解決。咱們可能面臨百億級節點、千億級邊，須要考慮怎麼樣在圖上快速的查詢節點，並把節點周圍的子圖抽取出來，這裏會用到咱們的圖存儲系統GraphFlat和PHStore。有了這個之後，須要設計機器學習的算法，譬如隨機採樣的算法，而後把圖數據變成一個稀疏的或者是稠密的矩陣運算，在GPU和CPU上進行分佈式計算。

除此以外，爲了支持各類各樣的金融場景應用，還須要支持對不一樣結構的網絡建模。一般金融場景涉及到的網絡多是沒有屬性的同構網絡；也多是在風控場景常常涉及的異構網絡，例如用戶和商家之間的資金轉移關係；也有多是帶有屬性的網絡。咱們須要用不一樣的算法模型來處理不一樣結構類型的網絡關係，同時不管哪一種類型網絡，均可以用一套平臺進行建模。目前，咱們已經建設了面向多類型圖數據的算法庫。包括：

• 面向無屬性網絡的xGrep，能夠針對十億級節點，千億級邊，數千億樣本進行訓練，並研發了分佈式隨機遊走框架和分佈式word2vec訓練框架；
• 面向屬性網絡的GeniePath，這是自適應深度/廣度的圖神經網絡，性能業內領先；
• 面向異質網絡的HeGNN& IGNN，其層次注意力機制提供金融級可解釋性，能夠自動學習異質信息豐富的語義；
• 面向知識圖譜的KGNN，可對知識圖譜進行表達學習，包括圖神經網絡+圖譜模型。

在金融場景不少時候須要具有可解釋性，於是須要咱們對訓練出來的深度模型進行解釋，找出具體是網絡上的哪一條邊或者哪個節點影響了整個風控系統的決策。爲此，咱們定義了各類各樣的模型，包括GeniePath能夠在深度學習網絡中自動搜尋節點的鄰居，看哪一個鄰居對當前的信息節點的風控有影響；或者是基於HeGNN、IGNN考慮不一樣網絡層次的影響，甚至是比較粗糙的高層次的網絡影響，以及網絡的不一樣維度的影響。

綜上所述，一個可用性高的深度圖學習平臺須要對架構作邏輯的劃分，同時中間的每一個劃分模塊都會有不少技術點，包括系統工程的技術、高性能計算的技術，以及模型算法方面的技術。

上圖是兩個具體的落地實例。首先，咱們把圖深度學習應用到營銷場景，經過用戶和商家的歷史購買行爲來預測用戶對紅包金額的敏感程度，從而對商家紅包實現個性化訂價，幫助商家更好地分配紅包金額，提高營銷資金利用效率，這個方法把營銷的成本下降了8%。咱們還把深度圖學習和知識圖譜結合起來應用在企業信貸，提升了授信額度，新增授信額度數百億。此外，深度圖學習平臺還在支付、貸款、保險，財富管理等其餘場景中均有各類各樣的應用。

在互聯網金融中，圖神經網絡是很是有用的新技術，也是螞蟻金服大力發展的技術方向之一。

自動機器學習系統

除此以外，螞蟻金服內部有各類各樣的機器學習算法應用場景，天天都有成千上萬的模型在訓練中，可是算法人員投入在模型訓練上的時間和精力是有限的，因爲產品紛繁複雜，算法人員既要選擇深度學習的網絡結構又要選擇算法的其餘超參，這個過程可能還要加入業務知識；隨着數據體量的增長，還須要在比較短的時間調好模型，對模型訓練的時間要求也愈來愈高，而傳統的單純依靠人工調參很難知足咱們對於模型更新迭代的效率要求。

爲了解決這個問題，咱們創建了自動化建模工具AutoML計算平臺，可以支持讓平臺和算法人員一塊兒協做，從而加速機器學習模型的建模和尋優過程。爲此，咱們在底層基礎設施之上實現了不少的算法來實現特徵自動化、超參搜索、網絡結構搜索以及元學習，從而下降新模型開發的成本。

介紹一個具體的落地案例，叫作autonet，這是針對公司推薦場景大量使用的深度神經網絡算法，基本思想是咱們經過將一些之前成功的小的深度神經網絡子模塊自動化拼裝起來，組合構成一個新的網絡結構並尋找更高效的模型：一方面將DNN的網絡結構自動化的構建起來，另一方面也對最終的建模效果進行提高。產出的模型在相同資源下，和對比的人工設計的模型基本耗時至關，同時在用戶拉新的場景取得了很好的效果，動銷率提高了14%。

此外，AotuML還有各類各樣的落地場景，後面都應用了自動機器學習平臺的網絡結構搜索、超參搜索、元學習，以及一些端到端的解決方案能力。各類業務場景的機器學習模型，均可以經過這個平臺進行優化，提高效率。甚至跨BU的一些業務場景也基於遷移學習來加速機器學習建模的過程。

多智體對抗強化學習系統

上面兩點介紹的是咱們的橫向技術如何從底層支持各類場景的機器學習模型。接下來介紹的是多智能體強化學習系統在螞蟻的應用和落地。在實際金融場景中，咱們涉及到的節點不是靜態的，例如人和商家的節點在交互過程有博弈、合做、對抗，所以咱們要把對抗學習跟多智能體的強化學習結合起來應用在這些場景。例如反欺詐場景和金融支付的場景，均可以用多智體強化學習的方式來建模。

可是，不少傳統的強化學習的方法都是先假設一個模擬器，而後與之不斷進行交互來優化強化學習的策略，例以下圍棋。但在金融場景，多智能體強化學習涉及到的模擬器並非一個靜態的，多是一我的或者是一個機構，因此不存在一個明確好用的模擬器，咱們也不知道多智體在行爲中，其獎勵函數或者是損失函數是什麼。所以，使用傳統強化學習硬套金融場景是行不通的，首先要根據現有的金融數據或者是用戶行爲數據學習到一個simulator及其獎勵函數，這樣才能在此基礎上進行強化學習。

爲此，咱們創建了一個多智能體的強化學習平臺，中間用imitation learning的方法來學習用戶的行爲特徵，以及他的獎勵函數，在此基礎上作各類各樣的機器學習。

這是一個具體的多智體的強化學習在推薦系統上的應用。不少狀況下，用戶登陸到一個系統裏面，系統會對這個用戶進行長期的檢查、分析和推薦。好的推薦系統的建模方式不是把用戶每次來的行爲做爲獨立的預測問題，而是把它當作強化學習的問題，這樣的話，咱們能夠針對用戶長期的獎勵、喜愛進行優化，而不是短時間的推薦，從而讓用戶長期對推薦的內容感興趣，產生價值。

這是咱們在人工智能頂會ICML(2019)上的論文，咱們把強化學習這套理論引入到對抗學習裏面，用這個方法來學習用戶的點擊行爲，以及點擊行爲對應的獎勵函數，有了用戶的行爲模型和獎勵模型以後，就能夠進行大規模的強化學習。

強化學習在螞蟻金服還有各類各樣的應用，咱們還在不斷探索和開闢，也歡迎學術界和業界進行更多的交流，共同創新和推進發展。