推薦系統中的基本問題

 

什麼是推薦系統？

1. 能作什麼？

　　找出 user 和 item 之間的聯繫、預測將來 user 和 item 可能出現的鏈接（產生了某種關係：好比用戶點擊、購買、評論了物品；或者用戶某些屬性和物品的屬性一致 ...）

2. 須要什麼？

　　須要已經存在的 user 和 item 之間的鏈接記錄

3. 怎麼作？

　　預測用戶評分和偏好（機器推薦和人工推薦）

 

何時須要推薦系統？

1. 符合產品的目的。（好比工具類產品就確定不須要，但社區類產品就須要）

2. 要看產品中 user 和 item 的狀況。若是規模少到編輯推薦便可解決，就不須要；或者 user 的留存回訪很低，也不須要（要有長尾效應纔可能讓推薦系統發揮效果）。

 

好比能夠計算  Δconnection / (Δuser * Δitem)，若是值較小，說明增長的鏈接數主要靠增長的活躍用戶數和物品數貢獻，不適合加入推薦；反之說明鏈接數已經有自發增加的趨勢了，適合用推薦系統來加速。

 

 

推薦系統的問題模式

兩大類：評分預測、行爲預測。（由於評分和行爲是用戶對推薦結果的反饋）

因此不一樣推薦系統的任務也不一樣，有的直接去預測用戶若是消費完以後會給多少評分；更多的是會分層，想要預測用戶的行爲。

評分預測：

提早預測一個用戶對每一個物品會打多少分，好比1～5分，而後找出那些他可能打高分可是還沒消費的物品，推過去就行了

但怎麼衡量預測分數和實際分數之間的偏差呢？（機器學習模型的優化可能是偏差驅動）—— 其實就是個迴歸問題，用均方偏差

評分預測常見問題：

　　1. 數據不易收集，用戶給出對一個物品給出評分，意味着他已經完成前面整個消費行爲了

　　2. 數據質量難以保證，僞造評分數據容易、門檻低，可是得到真實評分數據又不易、門檻高

　　3. 評分分佈不穩定，不一樣時期總體評分差異大，我的評分在不一樣時期也會變化，不一樣人之間評分標準差異也很大

 

因此評分這種數據，就是用戶提供的顯式反饋。但其實還存在隱式反饋，一般是各種用戶行爲，這就引出了下面一類問題

 

行爲預測：

從用戶登錄刷新，到購買收藏，這類自覺自願產生的行爲，一是數據量很大、二是相對真實。在整個消費流程中，用戶行爲（好比購買、創建社交關係、完整消費長內容）常呈漏斗關係，從登錄刷新開始，逐層經歷流失。推薦系統就是要讓完整的用戶行爲越多越好。

預測方式有兩種：直接預測行爲自己發生的機率（CTR 預估）；預測物品的相對排序

 

隱式反饋相比顯式反饋的優點：

　　1. 數據更加稠密（評分數據整體上很稀疏）

　　2. 更能表明用戶的真實想法

　　3. 和模型的目標函數關聯更密切，更容易在 AB 測試中和測試指標掛鉤

 

行爲預測常見問題：

　　1. 冷啓動。新用戶或者不活躍用戶、新物品或展現次數較少的物品，相關數據較少、比較難作到有效推薦。要想辦法從已有數據中主動學習

　　2. 探索與利用（EE 問題）。假設已經知道用戶的喜愛，比較科學的方式是大部分推薦他感興趣的，小部分嘗試去探索新的興趣。如何平衡這二者就是要處理好的問題。

　　3. 安全問題。推薦系統被攻擊的影響大體有：給出不靠譜的推薦結果；收集了髒數據，且一直持續留存影響；損失了商品的商業利益。因此針對推薦系統的攻防，也是須要討論的問題。

 

 

推薦系統構成元素的相對重要性、思惟模式

四個關鍵元素：1. UI 和 UE；2. 數據；3. 領域知識；4. 算法。重要性遞減（算法其實反而不怎麼重要？）

最早優化的必定是人機交互設計和用戶體驗設計，顏值即正義，交互邏輯要簡潔明瞭；其次就是數據，沒有歷史數據積累，別的都是白扯；再來就是所處領域的常識和通識，好比電商產品普通用戶更在乎價格、新聞類產品必須更新很快、不必給一個歌手的骨灰粉再推薦該歌手的歌...等等。最後纔是算法的做用，各類算法原理也是必定要掌握的，算法的左右沒那麼大，但也不可或缺。

 

目標思惟和不肯定性思惟

推薦系統是一個信息過濾系統，要解決的問題是如何讓信息流通更有效率，追求指標的增加，背後思想強調是目標和不肯定性：並不能很肯定每一個人將會看到什麼，也不必定能復現一些操做。但只要能讓目標指標增加便可。

輸出值在增加就說明修改有效，繼續沿着那個方向作下去，一旦無效或副作用就滾回去。

換句話說，要搞清楚作推薦系統的終極目標是什麼。在這個過程當中，量化就很是重要，推薦的精準性要量化，優化改進動做也要量化。

 

不用因果邏輯嚴絲合縫的推演，而用機率的眼光看待結果。爲何要有這種不肯定思惟？1. 大多數推薦算法原本就是機率視角；2. 追求的是不擇手段增加目標，而不是糾結一兩個case；3. 爲個別問題修改模型，付出和收益比；4. 原本出現意外的推薦也多是有益的（EE問題）