Use of Deep Learning in Modern Recommendation System: A Summary of Recent Works（筆記）

 

　　注意：論文中，不少的地方出現baseline,能夠理解爲參照物的意思，可是在論文中，咱們仍是直接將它稱之爲基線，

也就是對照物，參照物.

 

這片論文中，做者沒有去作實際的實驗，可是卻作了一件頗有意義的事，他收羅了近些年全部推薦系統中涉及到深度學習的文章

，並將這些文章進行分類，逐一分析，而後最後給出了一個推薦系統之後的發展方向的預估. 那麼經過這篇論文，咱們能夠較爲

系統的掌握這些年，在推薦系統方面，深度學習都有那些好玩的應用，有哪些新奇的方法,這片論文起到了一個簡報的做用，下面是論文的一個粗糙翻譯：

 

概述：

 　　隨着互聯網上數字信息量的急劇增長，在線商店、在線音樂、視頻和圖像庫、搜索引擎和推薦系統已經成爲在短期內查找

相關信息的最方便的方式。近年來，深度學習在語音識別、圖像處理和天然語言處理等領域獲得了普遍的關注。同時，最近的一

些研究也顯示了深度學習在推薦系統和信息檢索領域的應用。近年來，深度學習在語音識別、圖像處理和天然語言處理等領域得

到了普遍的關注。同時，最近的一些研究也顯示了深度學習在推薦系統和信息檢索領域的一些應用。在這個簡短的回顧中，咱們

涵蓋了最近在使用各類不一樣的深度學習技術在推薦領域取得的進展。咱們將綜述分爲三個部分：協做系統、基於內容的系統和混

合系統。本文還討論了深度學習集成推薦系統在多個應用領域中的貢獻。本文最後討論了深度學習在推薦系統中的各個領域的影

響，以及深度學習是否比傳統的推薦系統有了顯著的改善。最後，根據推薦系統中深度學習的應用現狀，提出了從此的研究方向。

 

筆記： 做者對過去發展的一個回顧，以及大體的描述了一下整篇文章內容的順序和文章結構。

引言

 

     咱們平常的需求從購物項目、書籍、新聞文章、歌曲、電影、研究文件等基本需求，都充斥着幾個數據倉庫和數據庫，不管是

數量仍是種類。爲此，智能推薦系統和強大的搜索引擎爲用戶提供了很是有用的幫助。這類系統的流行和有用性歸功於它們可以從

一個幾乎無限的倉庫中顯示方便的信息。所以，亞馬遜、Netflix等推薦系統會主動了解用戶的興趣，並告知用戶他們感興趣的項目。

雖然這些系統的應用不一樣，但尋找用戶感興趣的項目的核心機制都是用戶對項目匹配的興趣。

    一般，推薦的產生是基於用戶的偏好，項目的特徵，用戶-項目交叉信息，以及其餘的環境因素（好比時間，季節，位置）.

在推薦文獻中，這些內容主要分爲三大類：協同過濾(僅使用推薦的用戶-項交互信息)、基於內容的推薦(使用用戶偏好、或者項目的

偏好，或二者結合使用)和混合推薦模型(同時使用用戶和項目的交叉信息)。每一個類別下的模型都有其自身的侷限性，例如數據稀疏、

用戶和項目的冷啓動。

    鑑於深度學習在計算機視覺和語音識別等各個應用領域的最新進展，深度學習已擴展到信息檢索和推薦系統領域。關於將深度學習

集成到推薦系統上的影響，人們廣泛認爲，與傳統的模型相比，應該有顯著的改進。在此綜述中，咱們對有關將深度學習集成到推薦

系統中的各類工做進行了系統的總結，爲讀者瞭解從此利用深度學習改進推薦系統的影響和方向提供了堅實的基礎。

 

筆記： 近些年來推薦系統的應用，以及簡單的描述了一下推薦系統的原理，和分類.

 

方法

 

    在本節中，咱們回顧了咱們過去收集，選擇，和總結研究性文章的方法. 咱們使用谷歌學者搜索引擎來獲取研究文章

庫，選擇相關的論文供咱們參考。咱們使用如下關鍵詞提取文章：「推薦系統深度學習」、「協同過濾深度學習」、「遞歸

神經網絡推薦系統」。咱們還將時間過濾器設置爲「自2013起」，以便只在過去5年內找到文章。谷歌學者搜索引擎爲每

個查詢獲取了幾篇文章，可是咱們經過瀏覽論文標題來了解它們是否其實是關於深度學習的推薦系統，從而執行了

手動選擇。手動選擇留下了33篇文章。而後對每一篇文章進行了回顧，以瞭解用於加強推薦模型的深度學習方法，並

瞭解用於驗證目的的各類數據集。

 

筆記： 描述本身是如何獲取到這些文章的.

 

回顧和討論

    以下表1中，咱們總結統計了推薦模型三中分類中每一種方法的數量. 咱們發現，大多數最近時間的發表的文章都已經

利用深刻學習來加強協同過濾能力。在接下來的章節中，咱們討論了具體的深度學習技術，並簡要討論了深度學習是如何

與傳統的推薦模型相媲美的。

　　　　

在下表1中：

                    

　　咱們將收集到的論文按照應用的領域進行分類. 每一個領域的文章分類是由實驗中使用的驗證數據集決定的。典型的，推薦系統

有着更普遍的應用用例，可是爲了基於研究的方式進行分類，咱們假定將驗證數據集做爲應用領域的指標。如表所示，大多數

最近的推薦系統已經在娛樂領域的數據集上進行了測試。這可歸因於來自Amazon、Netflix和Movielens的可用的公共數據集。

接下來的即是，深度學習集成推薦系統的下一個興趣領域是電子商務。來自Yelp，Amazon，Slashdot等的幾個產品評論數據集。

幫助研究人員利用這些數據集進行驗證。第三類即是文章領域：與新聞、引文和學術研究文章相對應。第四類在社會領域中，我

們在諸如Epinions、social tagging（社會化標籤）等數據集上進行研究。

 

基於內容的系統

 

         在這一部分中，咱們總結了對基於內容推薦系統的各類研究工做的一些主要深度學習的貢獻。並簡要的描述相關論

文使用的方法：

 

 「Deep content-based music recommendation」： 

         在數據可用的狀況下，利用深度卷積神經網絡從音頻中生成歌曲的潛在因子。這種方法表現比基於簡單的基於線性分

類器，例如LR，MLP等基於數百萬歌曲數據（包括 Last.fm 數據集 和 Echo Nest Taste Profile Subset）要好.

 

「Improving Content-based and Hybrid Music Recommendation using Deep Learning」:

       提出了一種基於深度置信網絡和機率圖形模型的組合模型，來同時的從音頻內容中學習特徵並進行個性化推薦。該模型

與僅基於內容的模型以及混合模型進行了比較，而沒有使用the Echo Nest Taste Profile Subset (一種音樂推薦數據集)進行

深度學習。該模型的性能優於基於內容的基線以及基於協做過濾的驗證數據集基線。

 

「A Neural Network Approach to Quote Recommendation in Writings」

和 「Quote Recommendation in Dialogue using Deep Neural Network,」  兩篇文章：

      提出深度學習的方法，用以增強以基於內容的推薦系統在文章和對話中的引語推薦。Tan等人使用LSTM建模來表示上下

文和引語的分佈意義。 Lee等人將RNN和CNN相結合來學習對話過程當中引語的表示。「維基引號」和「牛津諺語簡明詞典」被認

爲是推特對話過程引語的來源。

 

「Ask the GRU,」 in Proceedings of the 10th ACM Conference on Recommender Systems - RecSys ’

        利用基於GRU的遞歸神經網絡將項目文本轉化爲潛在特徵，以提升協同過濾性能，特別是冷啓動時的協同過濾性能。

利用CiteULike的兩個真實世界數據集(密集版和稀疏版)，在引文推薦系統上對該模型進行了測試，並與一個改進版本的協

同主題建模模型進行了比較。在這兩個數據集上，所提出的模型在性能上都有顯著的改善。

 

「Joint DeepModeling of Users and Items Using Reviews for Recommendation」

        用審覈信息並結合物品屬性和用戶行爲數據, 採用深度協做網絡來學習這些特徵, 這個模型採用一個共享層來說物品屬

性和用戶行爲鏈接在一塊兒. 利用Yelp評論、Amazon評論、Beer評論等3種實際數據集，將該模型與矩陣分解、機率矩陣分解、

LDA、協同主題迴歸、隱因子做爲主題和協做深度學習等5個基本數據集進行了比較。在全部基準數據集上，該模型的性能優

於全部基線(參照模型)。

 

「Dynamic Attention Deep Model forArticle Recommendation by Learning Human Editors’Demonstration「

       開發了一種採用動態注意力深度學習模型的新聞文章推薦模型，用以解決編輯選擇新聞文章的標準不明確的問題，爲終端

用戶提供可選擇的新聞文章庫。這一階段的新聞推薦是爲終端用戶提供最終新聞推薦以前的一步。

　　在這個階段，編輯們從動態變化的文章庫中選擇新聞文章的子集，而動態變換的新聞文章庫來自於各個不一樣的新聞流渠道.  

對於編輯們選擇或者拒絕某些文章，沒有嚴格的選擇規則。這次研究採用深度學習來學習編輯動態風格的文章選擇標準。這樣的

問題不能直接用傳統的詞包（bag of word）方法解決。所以，採用深度注意模型生成複雜的特徵來表示文章的風格，而後對文章

是否被編輯所喜歡進行分類。

 

基於協同過濾的系統

 

    在這一部分中，咱們總結了深度學習對協做過濾方法的主要貢獻。大多數方法都試圖用某種形式的深度神經網絡代替矩陣

因式分解。

 

「CollaborativeDeep Learning for Recommender Systems,」

        解決了CF方法的稀疏性問題，以及基於協同主題迴歸方法的輔助信息的稀疏性問題。該模型採用廣義貝葉斯融合去噪

自動編碼器。該模型在2個CiteULike數據集和1個Netflix數據集上的性能優於矩陣分解和協同主題迴歸方法。

 

「Deep CollaborativeFiltering via Marginalized Denoising Auto-encoder,」 

        首先，它提供了一個框架，將深刻學習特性歸入CF模型，如矩陣因式分解。該模型與幾種採用矩陣分解的協同過濾方法

進行了比較，並在4個實際數據集上顯示出了一些性能改進：MovieLens-100 k、MovieLeans-1M、Book-Crossing、廣告數

據集。

 

「A Probabilistic Rating Auto-encoder for Personalized Recommender Systems,」

        開發了一種機率評級自動編碼器，用於執行無監督的特徵學習，並從用戶項評等數據中生成用戶配置文件，以加強協做過

濾方法。將深刻學習添加到傳統的協做過濾方法(如矩陣因式分解)中的結果顯示，使用 Yelp.com數據集在評級預測方面有明顯的

改善。它用於電子商務領域。

 

「Collaborative Filteringwith Recurrent Neural Networks,」

        結果顯示，協同濾波能夠轉化爲序列預測問題，所以遞歸神經網絡是很是有用的。特別地，LSTM被應用於CF問題，並在

兩種電影推薦數據集：MovieLens和Netflix上與k最近鄰和矩陣因式分解方法進行了實驗比較。性能比較代表，與其餘先進的協

同過濾模型相比，使用深度學習模型是有效的。

對於基於會話機制的推薦，有幾個推薦項目已經使用管理RNN來改進了.

 

「Session-based Recommendationwith Recurrent Neural Networks,」 

      第一個將RNN用到基於會話推薦的數據集上，而不是使用那些經典數據集. 它們的實驗代表了，傳統的矩陣分解方法不適合

基於會話的推薦。在電子商務的點擊流數據和像YouTube的OTT視頻服務數據集上的實驗評價，也代表用網絡代替MF方法的一

個顯着的優點。

 

「Parallel Recurrent Neural Network Architectures forFeature-rich Session-based Recommendations,」 

       使用內容（item）的特徵，好比圖像和文字來進一步提高RNN基於會話的推薦.  在本文中，做者引入並行RNN的概念，對

內容(item)的各個方面進行建模，即文本，圖像，ID等。 與簡單的RNN和item-KNN相比，特徵豐富的RNN在YouTube視頻服

務數據集上的性能有了明顯的提升。

 

「When Recurrent NeuralNetworks meet the Neighborhood for Session-BasedRecommendation,」

        結果代表，RNN與KNN相結合，能有效地提升電子商務應用的推薦精度。性能評估使用公共電子商務數據集，如TMall

競賽和來自last.fm、 artofmiing.org、8 tracks.com的其餘音樂播放列表。

 

「Recurrent Latent Variable Networks for Session-BasedRecommendation,」 

    利用貝葉斯統計中的變分推理模型對遞歸神經網絡模型進行改進，實現基於會話的預測。對電子商務數據集進行了性能評價，

並與BPR-MF、GRU方法和RNN方法進行了比較。

 

「Incorporating dwell time insession-based recommendations with recurrent Neuralnetworks,」

        提出了一個RNN模型，該模型包含了駐留時間(用戶檢查特定項的時間)，以提升電子商務數據集-Yooselect中基於會話的

推薦的準確性。

 

「On DeepLearning for Trust-Aware Recommendations in SocialNetworks,」 

        運用深度學習方法，對信任意識的社會推薦進行用戶和項目潛在特徵向量的初始化，並分離用戶信任的朋友關係中的社區

效應。該方法在兩個真實數據集上的性能優於矩陣因式分解方法的幾種變化：Epinions和Flixster。

 

「BayDNN: Friend Recommendation withBayesian Personalized Ranking Deep Neural Network,」

        提出了一種基於貝葉斯個性化的深度神經網絡模型用於好友推薦，使用Epinion 和 Slashdot的社交網絡數據集。該模型首

先利用卷積神經網絡從輸入網絡中提取潛在的結構模式，而後利用貝葉斯排序進行推薦。這種基於深度學習的推薦系統優於矩陣

分解算法、Katz類似算法、Adamo/Adar類似算法和簡單的雙輸入神經網絡等基本方法。

 

「DLTSR: A DeepLearning Framework for Recommendation of Long-tailWeb Services,」 

      提出了一種長尾Web服務推薦的深度學習框架. 它們使用疊加去噪自動編碼器來對內容描述很是少、歷史使用數據很是少的

長尾項或項執行特徵提取。(也就是稀疏)。該模型在ProgrammableWeb.com收集的數據集上進行了測試，並與矩陣分解和主題

模型等幾個基線進行了比較。

 

「Deep Matrix Factorization Models for RecommenderSystems *,」

         提出了一種利用深層神經網絡將用戶和項目映射到公共低維空間的深度矩陣分解方法。該模型使用顯式評級和內隱評級。

該模型與最早進的矩陣分解方法進行了比較，並在MovieLens電影、亞馬遜音樂和亞馬遜電影數據集上進行了測試，顯示了NDCG

度量的7.5%以上的改進

 

「Neural Semantic PersonalizedRanking for item cold-start recommendation,」 

        針對協同推薦系統中的冷啓動問題，提出了一種基於深度神經網絡和對向學習的神經語義個性化排序方法。該方法在Netflix

和CiteuLike兩種數據集上優於矩陣分解和基於主題迴歸的協同過濾方法。

 

「Online news recommenderbased on stacked auto-encoder,」

        提出了一種帶去噪的疊加式自動編碼器，從原始稀疏用戶項矩陣中提取有用的低維特徵。該方法與基於項的CF和SVD算法

在MovieLens數據集上進行了比較。

 

「Neural Collaborative Filtering,」 

        提出了一種用深度學習直接建模用戶-項目(User - Item )交互矩陣的通用框架，而不是僅對輔助數據進行深度學習。該

方法徹底取代了基於矩陣分解的方法，或將矩陣分解表示爲生成用戶和項潛在特徵的通用模型的特例。該通用模型與最早進的

矩陣因式分解方法(如EALS和BPR)和基本基線(如ItemPop和ItemKNN)在MovieLens和Pinterest數據集上進行了比較。提議的

方法顯示出對這兩個數據集的全部基線都有一致的改進(在統計上意義重大)。

 

「DeepSequential Recommendation for Personalized AdaptiveUser Interfaces,

        利用深度學習模型(尤指門控遞歸單元)學習用戶交互模式，以改進對個性化自適應用戶界面的推薦。

經過對深度學習方法與最早進張量分解和度量嵌入方法的比較評價，發現深度學習方法在用戶界面、網頁瀏覽和電子學習

數據集等方面都優於先進的方法。

 

 「GraphConvolutional Matrix Completion,」

        提出了一種圖卷積矩陣完成方法 ， 即便用圖形自動編碼器框架來完成矩陣。該模型除了只使用用戶和項目的交互信息

外，還能夠泛化爲既包含用戶的邊信息，也包括項的邊信息。該模型在Flixster、Douban、YahooMusic、MovieLens100K、

MovieLens1M、MovieLens10M等6個真實世界數據集上進行了綜合測試，並與其餘矩陣完成方法如幾何矩陣完成、交替最小

二乘優化方法、基於CNN的矩陣完成方法進行了對比。

 

混合系統 

    這一部分中，咱們總結了深度學習對混合推薦系統的主要貢獻。

 

「Tag-Aware Personalized Recommendation Using aDeep-Semantic Similarity Model with NegativeSampling,」 

        開發了兩種基於深度神經網絡的方法來改進個性化標籤感知推薦。該模型利用基於標籤的用戶和項目配置文件，

並利用深度學習模型將它們轉換成公共的潛在空間。研究發現，該模型的性能優於傳統的推薦方法，如基於聚類的餘

弦類似度法、基於聚類的協同過濾法和基於自動編碼器的協同過濾方法，具備統計學意義。

 

「Convolutional Matrix Factorization for DocumentContext-Aware Recommendation,」 

        提出了一種基於卷積神經網絡的模型，將用戶或項目的元數據信息結合起來，改進了矩陣分解方法。該模型在電影

和亞馬遜評論數據集上進行了評估，並與幾種最新的協做過濾方法進行了比較。

 

「Collaborative Denoising Auto-Encoders for Top-NRecommender Systems,」

        提出了一種基於協同過濾的自動編碼器去噪方法。該模型是全部協同過濾方法的一個通用框架，但在優化方面更爲

靈活。該模型在MovieLens、Yelp和Netflix數據集上的性能優於ItemPop、ItemCF、矩陣分解、BPR和FISM等基線。

 

「HybridDeep-Semantic Matrix Factorization for Tag-AwarePersonalized Recommendation,」

 

        開發了一種深層語義矩陣分解模型，提升了標籤感知個性化推薦的性能. 在他們的工做中，他們集成了深層語義建模

、混合學習和矩陣分解等技術，以得到更好的性能。對真實的社會打好標籤的數據集上的實驗分析代表：

與基於聚類的模型、矩陣分解、基於編碼器的模型和基於深層語義類似度的方法相比，深度學習加強矩陣分解方法在標記

推薦任務上有了顯著的改進。

 

「DeepNeural Architecture for News Recommendation,」

       針對終端用戶推薦問題，提出了一種基於深度神經網絡的解決方案。 該體系結構是爲了解決用戶興趣隨時間動態變化

的新聞讀者羣體的動態性問題而提出的。模型處理包括用戶的狀態和（item）項的特徵，並利用基於注意的遞歸神經網絡(RNN)

對用戶的動態閱讀興趣進行分析。本研究經過對CLEF新聞卷軸中真實世界數據集的普遍實驗，創建了深度學習對項目流行度和

矩陣分解等其餘基線的有效性。

 

「Towards a deep learning model for hybridrecommendation,」

 

        爲混合推薦系統提供了一種基於深度學習的體系結構。該方法使用doc2vec模型來表示用戶和（item）項的屬性，並使用

分類器預測項目對用戶的相關性。該方法的協做組件使用KNN來預測用戶對項目的評分。進一步利用前饋神經網絡將基於內容

的模型和基於協做的模型的結果結合起來。它的性能在MovieLens數據集上進行測試。

 

「A Hybrid Collaborative Filtering Model with DeepStructure for Recommender Systems,」

        提出了一個深刻學習的框架，以利用項目和用戶端的信息以支持來自稀疏用戶項評等矩陣的缺少信息。在側信息利用方面

，採用附加疊加去噪自動編碼器(ASDAE)將其轉換爲隱維，並與矩陣分解、隱因子矩陣相結合。

該模型的性能優於幾種最新的協同過濾算法 當在MovieLens數據集和圖書交叉數據集上進行測試時(讀者對圖書的評級)。 

 

「Deep hybridrecommender systems via exploiting document contextand statistics of items,」

        提出了一種基於上下文感知的混合模型，該模型將卷積神經網絡與機率矩陣分解和項目統計相結合。

這種方法捕獲上下文信息和考慮高斯噪聲的不一樣。該方法與基於非深度學習的矩陣分解和協同主題迴歸等方法以及利用3組真實

世界數據集(2部電影鏡頭數據集和1部Amazon即時視頻數據集)進行的深度學習方法進行了比較，顯示出略好的性能。

 

總結和展望

        在這篇綜述中，咱們系統地總結了在推薦系統領域的各類深度學習進展。咱們在推薦系統的三個主要類別下討論了各類研究

工做：

 基於內容的、基於協做的過濾系統和混合系統。咱們發現，大多數深刻學習的努力的方向都是爲了增強協做過濾方法，並在矩陣

因式分解的方法改進上有了非凡的提高。

咱們還發現，大多數深度學習的發展都偏向於娛樂行業，如電影和音樂推薦。這在很大程度上能夠歸因於豐富的驗證數據集的可

供使用。 

        沿着這個方向，咱們期待推薦系統在如下幾個方向會取得長足的發展.

 

 

1.   在其餘應用領域中建立公共數據集，好比： 學術領域： 做者-文章數據集 ，在線零售購物數據集 和其餘數據集 ，
2. 這些數據集既包含 用戶-項（item）交叉信息，也包含關於用戶 和項(item)的豐富元數據內容.
3.    建立用戶測試集合，用來對推薦系統在近真實世界環境下性能提高的評估 。當前，在以上研究工做中，深度學習
4. 的提高的範圍已被標記在5~8%之間。但這些改進也須要在現實世界中進行測試。它也能夠經過部署後分析一個行業
5. 的推薦系統與深度學習集成所產生的收益或參與來實現。
6. 須要一個綜合分析，將全部深層學習模型與同一套基準數據集進行比較。
   
   
   

讀完這片論文，咱們能夠獲得什麼？

　　　　1. 對當前深度學習在推薦系統中的應用有一個總體的把握.

　　　　2. 按圖索驥，按照本身的方向，挑幾篇本身感興趣的文章好好讀讀.