[論文學習]Convolutional matrix factorization for document context-aware recommendation

時間 2020-12-30

原文原文鏈接

Kim D, Park C, Oh J, et al. Convolutional matrix factorization for document context-aware recommendation[C]//Proceedings of the 10th ACM Conference on Recommender Systems. ACM, 2016: 233-240.

ABSTRACT

用戶到項目評分數據的稀疏性是推薦系統質量惡化的主要因素之一。爲了處理稀疏性問題，一些推薦技術考慮輔助信息來提高評分預測精度。特別地，當評分數據稀疏時，基於文檔建模的方法通過利用文本數據（例如評論，摘要或概要）來提高準確性。然而，由於詞袋模型的固有限制，它們在有效利用文檔的上下文信息方面存在困難，只能對文檔淺層理解。本文提出了一種新穎的上下文感知推薦模型，將卷積神經網絡（CNN）集成到概率矩陣分解（PMF）中的卷積矩陣分解（ConvMF）。ConvMF捕獲文檔的上下文信息，並進一步提高評分預測精度。我們在三個真實世界的數據集的測試顯示，ConvMF顯著優於現有先進的推薦模型，即使評分數據極爲稀少。我們還展示了ConvMF成功地捕獲了文檔中單詞的微妙上下文差異。我們的實實驗和數據集可在http://dm.postech.ac.kr/ConvMF獲得。

1. INTRODUCTION

電子商務服務中的用戶和項目數量的爆炸式增長增加了用戶對項目評分數據的稀疏性。最終，這種稀疏性降低了傳統協同過濾技術的評分預測精度。爲了提高準確性，一些推薦技術提出了不僅要考慮評分信息，還考慮用戶的人口統計信息、社會網絡和項目描述文件等的輔助信息。

最近，研究者們已經提出了基於文檔建模方法（如LDA主題模型和堆棧去噪自動編碼器（SDAE））的方法來利用項目描述文檔如評論，摘要或概要。具體來說，Wang等人提出的協作主題迴歸（CTR），其結合了主題建模（LDA）和協同過濾的概率方法。提出了不同的CTR，將LDA整合到協同過濾中，以不同的集成方法分析項目描述文檔。最近，Wang等人提出將SDAE整合到概率矩陣分解（PMF）中的協同深度學習（CDL），從而在評分預測精度方面產生更準確的潛在模型。

然而，現有的集成模型並不能完全捕獲文檔信息，因爲它們使用的詞袋模型忽略諸如周圍單詞和單詞順序的文檔的上下文信息。例如，假設在文件中給出了以下兩個句子：「人們相信這個人」，「人們最終背叛了他的信任」，由於LDA和SDAE認爲該文件是一個不可忽略的單詞的集合，所以他們無法區分每一個事件的「信任」。確切地說，雖然每個「信任」的發生似乎都具有幾乎相同的含義，但是這些詞之間存在微妙的句法差異 - 一個動詞和一個名詞。文檔中的這種微妙的差異對於更深入地理解文檔也是一個非常重要的因素，並且進一步的這種理解有助於提高評分預測精度。

爲了解決上述問題，我們採用卷積神經網絡（CNN），它是最先進的機器學習方法，在諸如計算機視覺，自然語言處理（NLP）和信息檢索等各個領域表現出了高性能。 CNN通過建模組件有效地捕獲圖像或文檔的局部特徵，這些模型組件包括局部感知野，共享權重和下采樣。因此，CNN的使用有助於更深入地瞭解文檔信息，並且產生比LDA和SDAE更好的潛在模型，特別是對於由於缺乏評分而訴諸於其描述文檔的項目。此外，CNN能夠利用諸如Glove等預先訓練的詞嵌入模型來更深入地瞭解項目描述文檔。請注意，LDA和SDAE不能利用預先訓練的詞嵌入模型，因爲它們採用了詞袋模型。

然而，現有的CNN不適合推薦任務，因爲卷機網絡的目標與推薦目標不同。具體來說，常規CNN主要解決分類任務，即預測單詞，短語或文檔的標籤。相反，推薦的目標被認爲是一個迴歸任務，旨在準確地近似用戶對項目的評分。因此，現有的CNN不能直接適用於我們的推薦任務。

爲了解決這個技術問題，我們提出了一種文檔上下文環境設置推薦模型，卷積矩陣因式分解（ConvMF），通過利用卷積神經網絡（CNN）捕獲項目描述文檔的上下文信息，進一步提高了評分預測精度。ConvMF正是將CNN無縫集成到PMF中，而PMF通常用於推薦任務。因此，綜合模式遵循推薦目標，最終有效地利用協作信息和上下文信息。因此，即使評分數據非常稀疏，ConvMF也能準確地預測未知的評分。

爲了證明ConvMF的有效性，我們對三種不同的現實世界數據集進行ConvMF的評估。我們對評分數據集的各種稀疏性的實驗廣泛證明，ConvMF顯着優於現有的先進的模型。 ConvMF的優越性驗證了即使評分數據非常稀疏，ConvMF能夠生成有效反映項目描述文檔的上下文信息的項目潛在模型。我們還定性證明ConvMF確實在文檔中捕捉到一個單詞的微妙的語境差異。此外，我們研究預先訓練的詞嵌入模型是否有助於提高ConvMF的評分預測精度。除了實驗代碼和數據集。詳細的實驗結果也可在http://dm.postech.ac.kr/ConvMF獲得。

我們的貢獻總結如下。

我們解決了基於詞袋模型方法的侷限性，並開發了一種新穎的文檔上下文感知推薦模型（ConvMF）。
爲了利用評分和項目描述文檔，我們以概率的角度將CNN無縫集成到PMF中。
我們廣泛地展示了ConvMF在三個現實世界數據集上與現有的先進模型在定量和定性上結果的優勢。

本文的其餘部分組織如下。第2節簡要回顧了最具代表性的協同過濾技術和CNN模型。第3節介紹了對ConvMF的概述，介紹了ConvMF的CNN架構，並介紹瞭如何優化ConvMF。第4節通過實驗評估ConvMF並討論評估結果。第5節總結了我們的貢獻，並提供未來的工作。

2. PRELIMINARY

在本節中，我們簡要回顧了矩陣分解（MF）（最流行的協同過濾技術）和卷積神經網絡（CNN）。

2.1 Matrix Factorization

傳統的協同過濾技術被分爲兩類[5]：基於內存的方法（例如最近鄰域）和基於模型的方法（例如潛在因子模型）。一般來說，基於模型的方法已知可以產生更準確的推薦結果。因此，在本節中，我們描述了MF，這是最流行的基於模型的方法。

MF的目標是在共享隱空間中尋找用戶和項目的潛在模型，共享隱空間中用戶項目關係的強度（即用戶對項目的評分）由內部產品計算。假設我們有N個用戶，M個項目和一個用戶項目評級矩陣 R∈RN∗M 。在MF中，用戶 i 和項目 j 的潛在模型被表示爲k維模型 ui∈Rk 和 vj∈Rk 。用戶 i 對項目 j 的評分 rij 由用戶i和項目 j 的對應潛在模型的內積（即 rij=uTivj ）近似。訓練隱模型的一般方法是將損失函數L最小化，該損失函數L包括實際評分與預測評分之間的平方和，並且加上試圖避免過擬合問題的L2正則化項如下：

L=∑Ni∑MjIij(rij−uTivj)2+λu∑Ni∥ui∥2+λv∑Mj∥vj∥2

其中 Iij 是指示函數當用戶i 給項目j 打分時爲1，其他爲0。

2.2 Convolutional Neural Network

卷積神經網絡（CNN）是具有以下組件的前饋神經網絡的變體：1）用於產生局部特徵的卷積層，2）通過僅選擇幾個典型的局部特徵（即，通過激活功能具有最高分數的特徵）來表示數據作爲更簡潔表示的池化（或子採樣）層，局部特徵來自上一層，其通常是卷積層。

雖然CNN最初是爲計算機視覺開發的，但是CNN的關鍵思想已經積極應用於信息檢索和NLP，如搜索查詢檢索，句子建模和分類和其他傳統的NLP任務。雖然針對NLP任務需要對CNN架構進行大量修改，但最終都有助於提高各種NLP任務的性能。

然而，CNN尚未被積極應用於推薦系統領域。據我們所知，van den Oord等人首先將CNN應用於音樂推薦，通過聲學分析觀點利用CNN分析了歌曲，並提出了一種基於聲學CNN獲得的項目潛在模型來預測評分的模型。然而，他們的CNN模型，專爲聲信號處理而設計，不適合處理文檔。文檔和聲學信號對周圍特徵的質量有固有的差異。一定時間的信號固有地類似於其周圍的信號，即具有輕微時間差的信號，而文檔中某個位置處的一個字與周圍的字有很大的語義差異。周圍特徵之間的這種相似度的差異影響局部特徵的質量，最終需要不同的CNN架構。此外，該模型還沒有充分反映協同信息。具體來說，項目潛在模型主要由通過CNN進行音頻信號分析的結果而不是協同信息決定。因此，總體推薦的性能甚至沒有達到加權矩陣分解（WMF），WMF這是處理隱式反饋數據集的常規基於MF的協同過濾技術之一。

3. CONVOLUTIONAL MATRIX FACTORIZATION

在本節中，我們通過三個步驟解釋了提出的模型—卷積矩陣因式分解（ConvMF）的細節：1）介紹ConvMF的概率模型，並描述橋接PMF和CNN的關鍵思想，以便利用評分和項目說明文檔。2）我們解釋CNN的詳細架構，通過分析項目描述文檔生成文檔潛在模型。3）最後，我們描述如何優化ConvMF的潛在變量。

3.1 Probabilistic Model of ConvMF

圖1顯示了ConvMF的概率模型的概述，它將CNN集成到PMF中。假設我們有N個用戶和M個項目，並且觀察到的評分由 R∈RM∗N 的矩陣表示。然後，我們的目標是找到其乘積（ UTV ）重建評級矩陣R的用戶和項目潛在模型（ U∈Rk∗N 和 V∈Rk∗M ）。從概率觀點上看，觀察到的評分條件分佈是由下式給出的：