摘要:以「數字金融新原力(The New Force of Digital Finance)」爲主題,螞蟻金服ATEC城市峯會於2019年1月4日上海如期舉辦。財富管理專場上,螞蟻金服財富事業羣高級技術專家陸鑫作了主題爲《運營科技的創新和探索》的精彩分享。git
演講中,陸鑫分別從數據協做,智能營銷和運營分析等幾三個方面介紹了運營科技如何助力運營「自動運營」,螞蟻金服但願將來幾年將運營往自動化方向引進,減小運營工做壓力,節省成本。
陸鑫 螞蟻金服財富事業羣高級技術專家算法
本次直播視頻精彩回顧,戳這裏!
如下內容根據演講嘉賓視頻分享以及PPT整理而成。安全
本次的分享主要圍繞如下四個方面:網絡
1、背景簡介ide
2、數據協做函數
3、智能營銷工具
4、運營分析區塊鏈
做爲工程師,要對接的對象是運營同窗。運營同窗天天都很是忙,他們天天有各類方案須要彙報,各類的設計稿須要修改,以各類預算須要去申請。工程師思想一般是把復瑣事件用簡單的技術方法解決。因此螞蟻金服但願用運營科技去助力運營,經過技術方法自動的幫助運營省去不少繁瑣的工做。
一般來講,自動運營分爲三個方面。作自動的運營首先須要有數據,數據目前螞蟻金服依賴機構的數據和螞蟻內部數據。那如何對兩部分的數據作更好的協做,而且幫助機構描述更好的用戶畫像以及更好的用戶的事件?第二個是智能營銷,即如何藉助人工智能的技術給用戶更適合的圖文物料和更合適的文案,以及如何肯定紅包的大小?第三個是運營分析,只有順利獲得線上用戶的反饋,才能更好的讓運營系統更好的迭代優化。
大數據
金融學領域常常會抽象這個世界。做爲運營工做,螞蟻金服與金額機構進行了不少運營方面的討論和金融技術的討論。運營中有三個實體。一個是什麼樣的人,要針對什麼樣的人作這個事情。第二個是發生了什麼事情,好比說用戶購買了第一筆基金,作了定投,登登陸支付寶等等都是用戶發生的一個事件。第三個用戶在某個時間點作了一件什麼樣的事情(action)。優化
以下圖,橫座標描繪了一個用戶的成長路徑。成長路徑是指新用戶成長爲成熟用戶的過程。螞蟻接觸了大量的小白用戶,他們一貧如洗,可能有錢,可是沒法知道在它們理財領域有什麼樣的知識。另一端是成熟用戶,一般作資產配置,作組合或者作定投的用戶能夠認爲是理財成熟用戶。螞蟻金服但願將小白用戶逐漸推動到成熟用戶。經過定義事件,描述用戶發生了什麼事情。首先將螞蟻平臺的數據和機構數據融合起來,完善用戶畫像。第二個,對平臺作結構化抽取,並讓機構定義本身的事件。好比,有一個用戶在螞蟻或者在機構清倉了,那麼螞蟻須要挽回這個用戶,在用戶下一次登錄支付寶時,給他發送陪伴的文章或者紅包,讓用戶意識到還有一個這樣的機構在陪伴他。螞蟻一直嘗試在持倉頁面陪伴用戶。好比市場上發生了大的波動,不少小白用戶很容易清倉或者拋售,這時螞蟻在持倉頁面上推送一些陪伴的文章,告訴用戶市場上發生的事情只是短時間波動而非長期。經過數據協做試圖將機構數據和螞蟻平臺數據進行融合,準確描述用戶的成長路徑。
數據流通是釋放數據價值的關鍵環節。然而,數據流通也伴隨着權屬,質量,合規性,安全性等諸多問題,這些問題成爲了制約數據流通的瓶頸。
a. 數據質量
數據流通首選須要解決數據資源在符合使用方質量要求的前提下的高效流動。高效流動須要數據資源標準化,產品化,數據資源實時在線可按需查詢,數據資源覆蓋度能知足需方業務需求,以及相同需求的數據資源具有多個數據源可供應。目前,由於數據需求方的個性化需求,致使實際流通數據多以單一供應方按需定製加工方式處理,對需方來講,不能得到持續,多源的,標準化的數據資源,阻礙了數據流通效率的提高。同時,數據質量評估也是數據流通須要解決的重要問題。因爲數據資源的特殊性,不少狀況下必須在實際使用後纔可驗證數據質量,質量評估檢驗的難度較大。加之不一樣數據源的數據質量參次不齊,質量衡量標準不一,質量評估體系不完備等問題逐漸顯露,使需求方較難在流通以前評估供應源的數據質量,是困擾大數據產業與行業應用的發展的難點問題之一。
b. 數據安全與隱私保護
如何確保數據流通的過程的安全,合法是數據大數據行業發展中遇到的另外一個難點問題,尤爲在保護我的隱私信息方面是必須解決的問題。現有法律法規的約束使得大數據產業在其發展中仍存在着諸多 不肯定因素和法律風險。如不當收集,使用或濫用我的信息,有可能被利用以實施各類犯罪,流經過程中的數據監聽,截獲隱患,超出初始收集目的和業務範疇的再使用,包括提供給合同以外的第三方的使用(即流通)等,都會危害到公民的人身和財產利益。同時,流通中的數據資源也需考慮可流通範圍,流通對象合法性,流經過程的安全保障,使用受權等一系列安全問題。
c. 數據流通基礎設施
數據做爲流通商品的訂價問題也日益成爲關注的焦點。因爲數據具備質量,覆蓋度,及時性和準確性等多重影響價格的因素,使得目前還未能造成一套通用的數據訂價策略。通常來講,供方傾向使用數據加工成本的計算方式評估數據資源價格,而需方則但願按數據使用得到的價值的比例與供方協商價格,最終沒法造成統一承認的市場價格體系。
在過去一年,螞蟻金服一直在嘗試用技術手段解決這些業務問題。
a. 我的信息保護
我的信息保護是數據流通的前提。根據《中國人民共和國網絡安全法》規定:「未經被收集者贊成,不得向他人提供我的信息。可是, 通過處理沒法識別特定我的且不能復原的除外」。 對此,我的信息保護能夠從信息處理和我的受權兩個方面解決。可是,去除我的信息的處理加工方式必然伴隨着信息的流失致使信息使用價值下降。所以,如何同時保證信息完整不缺失和保護被收集者我的信息成爲迫切需求。
差分隱私,同態加密等加密技術均可以實現對我的數據信息保護的前提下,實現數據計算任務。
b. 權益分配
權益分配是數據流通的基本動力。對權益進行合理分配才能促進數據不斷流通。必須保證數據擁有者,數據持有者,數據開發者都可以獲得合理分配的權益。權益分配策略必須在技術上簡單高效可行。技術要可以知足如下需求: 一是權益分配方案必須爲各方所共同接受。必須按照各方貢獻價值大小進行分配。二是必須可以快速高效計算各方貢獻價值,保證各方貢獻價值真實有效。其中,區塊鏈技術能夠實現高效安全的多方利益分配機制,作到去中心化,信息可追溯,而且提供可信的多方計算環境。
c. 數據安全保障
安全保障是數據流通的關鍵屏障。必須經過技術手段保障流通數據安全與用戶安全。 一是對流通的數據應採用加密手段處理,保證數據在傳輸過程當中的安全。二是在上傳數據前必須明確告知被收集者,禁止在未經被收集者贊成狀況下采用技術手段直接上傳數據。三是禁止流通任何危害國家安全社會穩定,侵犯他人權利,涉及商業機密的數據。技術上可以作到對這些數據檢索識別,追蹤數據上傳源頭。四是數據必須在必定範圍內使用,符合有限使用原則。技術上能對數據使用範圍作出檢測,警告超出合理使用範圍的數據應用。 其中,安全多方計算技術,能夠確保在保護數據提供方數據的前提下,實現多方安全協同計算,並確保各參與方獲得正確的數據結果反饋。
d. 追溯審計
追溯審計是數據流通的堅實後盾。對已經流通的數據創建完善的 追溯審計體制,使違規侵權行爲被及時追蹤發現。技術要可以知足如下需求: 一是對參與數據流通各方實體的行爲作到透明日誌記錄,方便數據擁有者查閱其數據使用記錄。二是可以及時檢測日誌中出現的異常 行爲並快速定位異常狀況,追溯到行爲源頭。 其中,區塊鏈技術自然具有透明日誌記錄以及可追溯,不可篡改的特性,很是適合作安全,透明的追溯審計。
用戶的安全求交是多方安全計算典型的例子。好比機構想在支付寶端給直銷用戶,其餘用戶或者第三方公開用戶發送紅包。機構知道用戶身份證號,手機號,但機構不想將這些信息共享給螞蟻。螞蟻有用戶支付寶ID與身份證號的對應關係,但螞蟻也不想把這些數據共享給機構。雙方在互相不泄露信息的狀況下如何求共同用戶的交集並實現紅包的發放?技術人員一般會想到兩邊加哈希。可是哈希已被破解,並且經過窮舉哈希也能夠碰撞出相應的身份證號,哈希方法很是不安全。螞蟻如今採用DH算法,先作哈希再作兩邊加密。以下圖右邊,假設A方是螞蟻,B方是機構,雙方都有本身的亂序ID集合。機構方生成本身的密鑰,螞蟻也生成密鑰,雙方分別加密,將加密以後的信息交換,再用本身的密鑰加密。這時便獲得了兩組內容,一組用XY順序加密,另一組用YX加密,找到兩個加密函數,與原來數據集作對比就能夠獲得交集。
安全求交的方式解決了大量的機構數據和螞蟻數據相互碰撞的問題。同時,用戶安全求交也能夠擴展到不少場景。螞蟻金服也在與不少政府機構進行合做,因爲政府機構不可以將用戶的信息泄露給第三方商業機構,因此螞蟻金服也使用了安全求交的方式實現了這個目的。按用戶的安全求交的方式原始數據沒有出機構運營,也沒有出螞蟻運營,出來的集合只是通過加密的殘缺數據,每方密鑰只有本身密鑰,且沒法窮舉,只能還原交集的原始ID。
有了數據以後須要作營銷,營銷主要是圍繞人作,大數據能夠很好的識人懂人聚人。那理解了用戶以後如何作觸達分發?觸發分發分爲觸達,觸動和觸發。觸達指是將圖片和物料曝光給用戶,這是很是粗糙很是基本的觸達,好比彈屏或者發消息。第二個是觸動,作市場營銷須要知道哪一個時間點對用戶有吸引力,在最具吸引力的時間點去打動用戶。第三個是觸發,觸發是指用戶真正觸發的動做,是真正達成目的的時候,這時螞蟻能夠發紅包或者推送作push文章作催化劑,以後作轉化。其中,如何才能觸動用戶,發送的圖片文案怎麼樣才能打動用戶?第二個是紅包大小問題。
1. 智能訂價
螞蟻金服作了不少智能訂價嘗試,其目的只有兩個,提升轉化和節省成本。以下圖左上角,展現了營銷費用與用戶轉化機率的關係。大致上,營銷費用與用戶轉化機率是正相關的,中間有不少波動點,說明至少在局部區域有很是好的優化空間。在此基礎之上,粗略的分析各個用戶的狀態。分別從兩個維度來分析,一是拿到紅包的次數,即覈銷多少優惠。二是交易頻次是上升仍是降低。以下圖,第一組用戶:「覈銷了不少優惠,但交易頻次降低了」,這類用戶基本能夠判斷爲是薅羊毛的用戶,因此拒絕對這類用戶再發紅包。第二個用戶:「覈銷了較少優惠,但交易頻次上升了」,這類用戶對紅包不敏感,他們有本身的決策邏輯,可能對平臺很忠誠或者有本身的交易理論,因此對這類用戶也不須要再發紅包,由於他們根本不受紅包的影響。第三組用戶:「覈銷了較少優惠,但交易頻次降低了」,這類用戶很是危險,他們甚至對紅包都不感興趣。這類用戶很是容易流失,因此會建議花更多的錢將他們拉回平臺。第四組用戶:「覈銷了不少優惠,但交易頻次上升了」,這類用戶是平臺喜歡的用戶,他們對營銷很是敏感,因此應該投入更多的錢使第四類用戶提升交易。通過以上對訂價策略的分析,基本策略是從下到上,依次重視不一樣的用戶。下圖右邊是利用模型和數據提升轉化,節省成本。首先作對數據作特徵工程,可使用用戶的天然屬性數據(男女,家庭住址,觸摸商圈,或者常常看什麼樣的理財文章)。用戶在各個營銷場景的數據(各種獎品發放數據,覈銷統計)。交易數據(淘寶交易或者線下交易,以及錢包場景數據)。螞蟻考慮了各類各樣的場景,並在模型方法上進行了不少嘗試,如邏輯迴歸,GBDT,隨機森林,DNN等。還有嘗試瞭如計算廣告學中的各類CTR模型。最終,螞蟻在前兩個月實現的結果是從總體上能夠提升了30%的轉化率,這個結果是對整個營銷工做具備很是大的幫助。另外,螞蟻金服在以前的工做中作了很是多的摸索,很奇妙的現象是1.9紅包效果一般不如1.8紅包的效果。發現只要優化了紅包尾數,成本不只能夠降低,並且轉化率反而能夠提升。經過尾數位數金額優化,螞蟻金服節省了5%的成本。
2. 智能圖文
因爲很是多的機構提議說作banner圖片成本過高。因此螞蟻金服提供了合成圖文的功能,開放出來讓機構使用。2018年螞蟻在合成圖文領域有很大的進步,目前能夠生成成千上萬張圖。生成的圖放在線上讓用戶點擊反饋,篩選出最適合用戶的圖片。智能圖文功能能夠節省成本,提升效率,方便用戶。由於技術的發展,用戶只需在圖中劃幾條線,就能夠將圖中人物扣出來。
3. 智能觸達
目前文章推薦和投放的技術都已經很是成熟。在2018年,螞蟻嘗試了一個新的領域,在手機客戶端作用戶的點擊預測。其初衷很是簡單,假設在打遊戲或者手機沒有電時,系統發送一個push信息,這使得用戶體驗很是差。手機端上不少實時的狀態是以前被忽略或者沒有被捕捉的。用戶手機端上的狀態是否能夠捕獲到,是否涉及到用戶隱私問題?這是用戶的點擊預測挑戰所在。因爲支付寶客戶端並不能將全部用戶端上的信息拿到,而後放在服務端作模型的構建以及點擊預測,因此須要在手機客戶端上進行模型構建來作點擊預測。這會涉及到數據協做,即在支付寶內部有客戶端和服務端協做的問題,因爲隱私保護不能將數據直接給支付寶服務端進行落戶,因此經過手機客戶端上的實時情況的捕獲,提供push效率。目前支付寶的push的打開率提升了20%。
在剛開始不少金融機構尚未運營經驗,螞蟻金服但願把平臺經驗以及系統的數據分析能力開放給用戶。運營分析與數據分析相似,基本分爲如下三個步驟,發現問題,分析問題和解決問題。發現問題指的是作報表或者作看板,經過可視化方法看到數據的上升或降低,能夠發現問題。分析問題一般須要細分問題,假設有指標異常,只從單個指標找問題或者靠猜測是沒法分析的,須要對異常相關的各個因子作分析,才能夠逐漸分析出問題所在。在解決問題部分並無不少智能化手段,幸運的螞蟻金服有很是多的互聯網運營經驗的沉澱,在解決問題這一塊,能夠理解爲有多少智能就表明着背後有多少人工存在。
1. 流量解決方案-不知所措
因爲流量波動難以定位,入口很是多,並且外部影響也不少。一天內支付寶會在各個不一樣的地方作活動,即便發現了異常也很難定位問題。
螞蟻開發了一套系統,採用迭代優化的方案逐步解決流量難以定位的問題。Step1. 特徵化數據。特徵化簡是指用什麼指標代替流量。好比,一篇文章通常會用一個詞或者句子來代替這篇文章,這個過程就能夠稱爲特徵化。特徵化並無很深奧,特徵化一篇文章通常選擇最長的句子做爲特徵表明這篇文章。流量問題天然也涉及到很是多的特徵化工做,首先,迭代優化須要在基礎數據這一步將流量特徵化。
Step2. 異常檢測。每秒的流量都在變化,流量是時序數據,能夠採用ETS時序算法描述時序數據。ETS時序算法一般用在信息處理領域,用它的信號描述數據的模型並預測流量的大小。假設當天的流量偏離了預測值,就認爲檢測到了異常。異動的歸因,即細分問題。這一步主要分析什麼緣由致使了變更。在Step1中,特徵化基礎數據獲得了特徵因子,經過查看各個特徵因子的貢獻度,如異動變化的相對值在絕對值以上,就能夠發現哪些因子貢獻了變更。
Step3. 歸因決策。在前面幾步的基礎上,歸因決策主要肯定要作什麼樣的決策(action),螞蟻金服主要作了一個決策引擎來支持歸因決策。
Step4. 服務輸出。結果導讀,優化開導。
螞蟻金服以前作過不少活動,都是以徹底開放式的方式。事實上,大部分機構花費了很高的成本而並無獲得很好的效果。螞蟻金服總結了一個活動解決方案,按專人專項的方式,使不一樣用戶迅速知道應該怎麼作。用戶分紅三個等級,新用戶,體驗型用戶和流失用戶。針對三種用戶分別作不一樣的數據分析以及活動。這個解決方案可讓機構更快更方便的去操做。對不一樣人羣用不一樣的活動和不一樣的物料,覆蓋更多的用戶。
最後是螞蟻金服的目標方案。螞蟻但願智能運營參謀「司南」能夠根據機構不一樣機構的問題,推薦人羣,發現哪些人羣出現了問題。推薦權益方案,如定多少規則和使用哪些算法。給出預測的預期,即所須要的成本和可以實現的效果。最後進行投放。
螞蟻金服試圖在近兩年內將運營往自動化方向引進。運營中有很是多的事件,人羣和運營工具,因此螞蟻金服但願制定出一些自動化運營的方案,好比下圖中,用戶進來以後給他作一個投教,經過自定義的分支自動化的運營用戶。自動化運營能夠迴應前面提到的運營同窗很忙的問題。假設運營往自動化運營方向逐漸推動引進,運營工做就能夠變得更加輕鬆。
點擊閱讀更多,查看更多詳情