導讀算法
AAAI 2018大會將至，螞蟻金服在本次大會上也有多篇論文被錄取。上週，咱們和你們介紹了《AAAI 2018 論文 | 螞蟻金服公開最新基於筆畫的中文詞向量算法》這篇論文（點進連接便可閱讀），這是螞蟻金服人工智能部與新加坡科技大學一項最新的合做成果：cw2vec——基於漢字筆畫信息的中文詞向量算法研究，受到了你們的歡迎。瀏覽器
本篇文章咱們分享的是螞蟻在AAAI 2018大會上的另一篇論文，Privacy Preserving Point-of-interestRecommendation Using Decentralized Matrix Factorization，本文探討了用去中心化的方式來在作用戶興趣推薦的同時保護好用戶隱私，還能同時解決原有中心化的計算方式帶來的資源浪費問題。一塊兒來看看吧！若是你有什麼問題和想法，請歡迎在文末的評論區與螞蟻金服的技術同窗進行互動！微信
Privacy Preserving Point-of-interest Recommendation Using Decentralized Matrix Factorization網絡
ChaochaoChen, Ziqi Liu, Peilin Zhao, Jun Zhou, Xiaolong Lidom
（陳超超，劉子奇，趙沛霖，周俊，李小龍）編輯器
【注】：論文下載連接https://docs.google.com/viewer?a=v&pid=sites&srcid=ZGVmYXVsdGRvbWFpbnxjY2Nob21lcGFnZXxneDoxMGM0OGFkMGM4ZTA2MzY（請將網址複製至瀏覽器中打開或直接點擊閱讀原文便可查看。）分佈式
隨着基於地理位置的社交網絡（如共享單車）的發展，興趣點的推薦（Point-of-interest，如推薦酒店，餐廳，加油站，如下簡稱POI）也變的愈來愈流行。矩陣分解（潛在因子模型）是興趣點推薦中很是重要的一類方法。在訓練階段，它經過用戶對物品已有的交互信息（如點擊，評分，評論，上下文等）學習用戶和物品的潛在向量；在預測階段，經過用戶和物品的潛在向量的類似度匹配來作推薦。 學習
▲圖1 集中式訓練與去中心化式訓練的對比優化
現有的興趣點推薦系統，都屬於集中式（centralized）訓練的方法，如圖1左所示。也就是說，傳統的矩陣分解技術，首先構建該推薦系統的人（或平臺），要獲取用戶對物品行爲（如購買，點擊，評分等行爲）數據，而後利用這些數據來構建一個矩陣分解推薦系統。這樣作有兩個弊端：google
（1）耗費存儲計算資源。一方面，全部用戶對物品的行爲歷史數據，都要集中式的存儲在某個服務端，所以浪費存儲資源。另外一方面，在訓練矩陣分解模型時，須要在服務端機器上訓練，模型的訓練速度受限於服務端機器數量，所以浪費了計算資源。
（2）不能保護用戶隱私數據。由於用戶對物品的行爲歷史，都被該服務端獲取了，假設該服務端不會主動泄露用戶隱私，那也存在會被黑客攻擊，從而致使用戶隱私泄露的事情發生。
爲解決這兩個問題，咱們提出了一種用戶隱私保護的去中心化式的矩陣分解方法，如圖1右所示。簡單而言，用戶的數據存在在本身的我的設備上，如手機和pad，不向服務端上傳，這樣解決了集中式訓練形成的存儲資源浪費。另外一方面，模型的訓練，也都在用戶端完成，用戶之間經過交互非原始數據信息來完成模型的協同訓練。這樣的去中心化式的訓練方法可視爲分佈式算法，每一個用戶都是一個計算節點，由於能夠解決集中式訓練形成的計算資源浪費。
模型介紹
▲圖2 Foursquare及Alipay數據分析
1. 問題定義
對於去中心化的推薦而言，每一個用戶對POI的行爲數據（如check-in），都保存在用戶本身的設備上，如手機和pad，不向服務端上傳。咱們提出的去中心化的推薦，能夠應用於多種已知的潛在向量模型中，如矩陣分解[1]和pair-wise的排序方法[2]中。以去中心化的矩陣分解方法爲例，每一個用戶本身須要保存的信息有：
a. 其本身對每一個POI的原始交互信息
b. 其自身的用戶潛在向量
c. 每一個POI的共享（common, global）潛在向量
d. 該用戶本身對POI的個性化（personal, local）向量
去中心化的推薦與傳統集中式訓練的推薦方法的核心思想類似，即用戶之間協同完成模型的訓練。那麼，很天然的能夠想到，去中心化式的推薦方法面臨如下兩個挑戰：
C1: 每一個用戶應當與哪些用戶作信息交互，以學習模型；
C2: 用戶之間應當交互哪些信息，以達到不泄露我的數據但能協同訓練模型的目的。
▲圖3 基於Random Walk的用戶信息交互
1. C1的解決方案
爲回答第一個問題，咱們首先對真實POI數據作了分析，如圖2所示。從圖2咱們能夠發現，在POI場景中，絕大多數用戶具備地理位置的彙集性。所以，用戶能夠經過與地理位置相近的其餘用戶交換信息來學習模型。咱們首先使用用戶地理位置信息構建用戶鄰接圖，而後提出使用Random Walk在用戶鄰接圖上作信息交互，如圖3所示。其中，表示用戶，表示POI，當用戶對POI
產生了一個動做時（如check-in），用戶會將其學到的關於的信息傳遞給其一階或多階鄰居。至因而何種信息，下文會有介紹。同時，咱們能夠經過指定Random Walk的最大跳數來限制用戶之間信息交互頻率，以減少通訊和計算開銷。
2. C2的解決方案
已有研究[1]已經證實，去中心化式的訓練過程當中，單獨的學習者之間經過交換梯度能夠實現模型的收斂。在去中心化式的矩陣分解場景下，咱們提出用戶之間經過交換POI的共享潛在向量梯度來完成用戶之間的協同訓練。即，當一個用戶對某POI有行爲時，該用戶的潛在向量以及該POI的共享及個性化潛在向量都會經過梯度進行更新，與此同時，該用戶將該POI共享潛在向量的梯度發送給其鄰居，這些鄰居拿到該POI共享潛在向量的梯度以後，得知與其相關的用戶已經對該POI進行了必定的反饋。所以，存在這些鄰居處的該POI共享潛在向量也會獲得相應更新，以此來完成模型的協同訓練。
實驗結果及分析
咱們的實驗在兩個數據集上完成，一個是學術界公開數據集（Foursquare），另外一個則是支付寶內真實的數據集（Alipay），兩個數據集信息如表1所示。
在真實的推薦場景下，推薦物品top準確性相當重要，所以，咱們選擇top的準確率（P@k）和召回率（R@k）做爲評價指標。同時，咱們選擇了傳統集中式的矩陣分解方法（MF）和集中式的pairwise優化方法（BPR）做爲對比方法外。此外，咱們還對比了咱們在模型（DMF）在用戶設備上只保留POI共享（common, global）潛在向量（GDMF），及只保留POI的個性化（personal, local）向量（LDMF）時，咱們模型的效果。對比結果見表2和表3。
從對比結果中咱們能夠看出，咱們所提出的去中心化的矩陣分解方法，效果不只能夠優於集中式的矩陣分解方法，並且能夠優於大多數狀況下pairwise的優化方法；同時也能夠看出去掉用戶之間的協同做用以後（LDMF），模型效果獲得大幅度降低，這也代表了用戶協同訓練的重要性。此外，圖4顯示了咱們模型在兩個數據集上train和test上的loss，能夠看出，模型隨着迭代次數的增長，在train和test上都能很好的收斂。
▲圖4 模型train和test loss隨着迭代次數的變化
總結
隨着我的，企業及政府對用戶隱私保護重視程度的提升，不少數據都由用戶或單位本身保管。所以，如何在保證他們各自都保留本身數據的前提下，協同訓練並共同得到推薦成果成爲一個發展趨勢。除傳統的數據加密方法外，該論文所提出的去中心化式的推薦方法成爲了基於用戶數據隱私保護的另外一類推薦方法。
如今的方法中，全部的潛在向量都是以實數向量的形式進行存儲，在數據量極大時，用戶設備的存儲及計算資源將會限制模型的擴展性。所以，咱們會把模型的壓縮做爲將來工做。
參考文獻
[1] Mnih, Andriy, and Ruslan R. Salakhutdinov. "Probabilistic matrix factorization." In Advances in neural information processing systems, pp. 1257-1264. 2008.
[2] Rendle, Steffen, Christoph Freudenthaler, Zeno Gantner, and Lars Schmidt-Thieme. "BPR: Bayesian personalized ranking from implicit feedback." In Proceedings of the twenty-fifth conference on uncertainty in artificial intelligence, pp. 452-461. AUAI Press, 2009.
[3] Yan, Feng, Shreyas Sundaram, S. V. N. Vishwanathan, and Yuan Qi. "Distributed autonomous online learning: Regrets and intrinsic privacy-preserving properties." IEEE Transactions on Knowledge and Data Engineering 25, no. 11 (2013): 2483-2493.
— END —
本文分享自微信公衆號 - 支付寶技術（Ant-Techfin）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。