推薦系統

推薦系統基礎知識整理

• 基於規則的推薦系統

1. 優勢：
   1. 簡單直觀；解釋性強
   2. 開發以及維護簡單
2. 缺點：
   1. 結果單一
   2. 馬太效應：馬太效應是出自《聖經 馬太福音》的一個典故，社會學中的一種強者越強弱者越弱的現象，也就是說推薦系統是否會使被關注的事物更加被關注，被忽視的事物更加被忽視。經常使用的協同過濾就有馬太效應。比較簡單的測試指標就是信息熵。
   3. 較爲依賴主觀經驗

• 熱門推薦

1. 優勢（同上）
2. 缺點：
   1. 結果單一
   2. 馬太效應
3. 熱門推薦須要考慮的因素：
   1. 時效性：熱門推薦的時效性很好理解。
   2. 推薦物品的質量：推薦物品的質量表示推薦給用戶須要考慮用戶對該物品是否感興趣。
   3. 用戶與用戶行爲的權重：用戶和用戶行爲的權重表示某個用戶屢次訪問與某個用戶不多訪問二者是有很大的區別的

• 基於內容的推薦系統

利用用戶的已知屬性或者興趣偏好，與物品內容的屬性進行匹配，以此爲用戶推薦新的感興趣的物品。

1. 基於用戶畫像的推薦
2. 基於關鍵詞向量的推薦
3. 優勢：
   1. 用戶之間是相互獨立的
   2. 可解釋型較強
   3. 能夠推薦新的物品
4. 缺點：
   1. 缺少新穎度
   2. 很難對新用戶進行推薦。這裏能夠考慮給熱門推薦；或者根據用戶的地域信息給出相應的推薦；或者根據用戶實時行爲數據進行實時推薦

• 協同過濾

1. 基於近鄰的協同過濾：他關注的是用戶之間的類似度或者是物品之間的類似度。
   1. Item-based
      1. 定義：基於Item-based推薦表示的是根據物品的類似性，某個用戶買了某個物品後，經過物品的類似性獲得一些與該物品相相似的商品推薦給該用戶。
      2. 應用場景：
         1. 當Item的數量遠小於User的數量時，考慮用Item-based
         2. 當Item的比較穩定時，考慮用戶Item-based
   2. User-based
      1. 定義：基於user-based推薦表示的是根據用戶的類似度，某個用戶購買了相關的商品時，與該用戶類似的用戶也購買了那些物品推薦給他。
      2. 應用場景：
         1. 當user的數量遠小於Item的數量時，考慮用User-based
         2. 當Item不是特別穩定時，考慮用User-based
2. 基於模型的協同過濾：將物品和用戶映射到相同的語義空間進行計算類似度。主要用到的方法就是矩陣分解。
   1. 因子分解
   2. SVD，SVD++
   3. ALS矩陣分解（Spark MLlib）

　　應用矩陣分解的緣由是因爲用戶和物品構成的矩陣在實際的應用場景中，每每都是稀疏的或者存在缺失值的狀況。這個時候很難補充或者很難準確的給出相應的物品推薦，而且複雜度較高。經過矩陣分解能夠解決這類問題。在FM算法當中也有用到相似的原理。

推薦系統的思惟導圖以下：

• 類似度的計算方法

1. 餘弦類似度
2. 皮爾森相關係數
3. jaccard類似係數

 

• 推薦系統的通常步驟 

1. 召回
   1. 根據用戶長期穩定的興趣和即時的目標，獲得能夠推薦給用戶的物品候選集
   2. 結合具體的業務邏輯進一步獲得候選集
2. 排序
   1. 獲得候選集後，須要對候選集中的物品進行排序。
   2. 傳統的排序方式：相關係數，重要性
   3. point-wise，pair-wise，list-wise

   4. 這裏排序的模型能夠考慮使用的特徵類型:用戶特徵、物 品特徵、用戶-物品交互 特徵、場景特徵等 

3. 過濾／規則匹配
   1. 過濾一些bad case
   2. 根據用戶的歷史行爲過濾一些用戶已經購買過的物品

• 推薦系統的評價指標　　 

1. 正確率，召回率，F1值，ROC曲線，AUC值
2. 轉化率相關的指標
3. 銷售額
4. 排序相關的指標
5. 用戶體驗相關的指標（這塊很差衡量）
6. 覆蓋率：用戶的覆蓋率和物品的覆蓋率