構建一個生產可用的推薦系統須要注意哪些問題？| 文末贈書

推薦系統面臨的問題

1．推薦的冷啓動問題

冷啓動問題是困擾學術界和產業界多年的重要問題。對於一個全新的網絡用戶，系統中尚沒有任何能夠用來分析其個性化偏好和需求的商品購買或瀏覽交互信息，所以沒法向其提供個性化的推薦列表。該問題在傳統的基於數值化評分的個性化推薦方法中尤其突出，並與數據的稀疏性問題互爲因果，這是因爲網站內的新註冊用戶每每只對很是少許的商品給出過數值化的評分，很難經過如此少許的評分分析用戶的偏好和需求。另外，在大數據環境下，數據的稀疏性顯得越發明顯和嚴重，這進一步加劇了冷啓動問題給實際系統帶來的負面影響。

目前，解決冷啓動問題的方法主要包括以下幾種。

（1）降維技術（Dimensionality Reduction），經過 PCA、SVD 等技術下降稀疏矩陣的維度，爲原始矩陣求得最好的低維近似，可是實際系統中龐大的數據規模使得降維過程存在大量運算成本，並有可能影響預測和推薦效果。

（2）使用混合推薦模型的方法，經過取長補短彌補其中某種方法的問題。

（3）加入用戶畫像信息和物品屬性信息，例如經過使用用戶資料信息計算用戶類似度，或者使用物品的內容信息計算物品類似度，進一步與基於打分的協同過濾方法相結合，以提供更準確的推薦。

另外，推薦系統中的小衆用戶（gray sheep）問題限制了系統在小衆用戶上取得較好性能。該問題主要表現爲有些人的偏好與任何人或絕大多數人都不一樣，於是難以在大規模數據上採用協同過濾的方式爲該用戶給出合理的推薦。目前，小衆用戶推薦通常採用混合式的推薦模型來解決。例如，最多見的方法是把基於內容的推薦和基於協同過濾的推薦結合起來，挖掘小衆用戶在感興趣的物品上的內容信息，並進一步結合可用的類似用戶行爲信息給出推薦。然而，該方案在解決小衆用戶推薦的問題上還遠遠不夠，因爲長尾效應的存在，系統在小衆用戶上的性能對總體能取得的性能有較大的影響，須要對小衆用戶推薦作進一步的研究和實踐。

2．個性化推薦的可解釋性問題

個性化推薦的可解釋性是長期困擾學術界和產業界的重要問題。因爲算法的複雜性和隱性變量方法的大量使用，算法所給出的推薦列表每每並不能獲得較爲直觀的解釋，也就難以讓用戶理解爲何系統會給出該物品做爲推薦而不是其餘物品。

當前的實際系統中每每簡單地給出「看過該物品的用戶也看過這些物品」做爲推薦理由，這樣的推薦理由每每沒法使人信服，從而下降了用戶點擊和接受推薦結果的潛在可能性。在跨領域的異質推薦背景下，推薦結果的可解釋性顯得更爲重要，由於缺少直觀可信的推薦理由將難以說服用戶進入新的甚至陌生的網站查看異質推薦結果。如何將推薦理由的構建與系統所使用的推薦算法緊密結合，獲得更細緻、準確、有說服力的推薦理由，引導用戶查看甚至接受系統給出的推薦，是學術研究和實際系統都須要考慮的重要問題。

3．推薦系統的防***能力

推薦系統如何應對惡意***（shilling attack）也是實際系統中須要解決的重要問題，該問題其實是推薦系統中的反垃圾（anti spam）問題。例如，有些用戶或商家會頻繁地爲本身的物品或者對本身有利的物品打高分，爲競爭對手的物品打低分，甚至註冊大量的系統帳號人工干預某物品的得分，達到人工干預推薦系統推薦效果的目的，這會影響協同過濾算法的正常工做。該問題的被動解決方法是採用基於物品的推薦，由於在惡意***的問題上，基於物品的推薦每每能比基於用戶的推薦具備更好的魯棒性。做弊者老是較少數，在計算物品的類似度時影響較小。固然，咱們也能夠採用主動的解決辦法，設計有效的垃圾用戶識別技術來識別和去除做弊者的影響。

除此以外，推薦系統的研究和應用中還面臨不少其餘的問題和挑戰，如隱私問題、噪聲問題、推薦的新穎性，等等。急需對這些問題投入更多的研究和實踐，從而不斷完善推薦系統的性能和應用場景。

推薦系統的新方向1．基於多源異質信息的推薦

長期以來，推薦系統的各類算法和研究都是基於數值化打分矩陣的形式化模型，該模型的核心是以用戶打分爲基礎，而少有對基於用戶文本評論語料進行個性化推薦的研究。基於文本評論的個性化推薦被不少論文提到，可是研究並不深刻，這一方面限於文本挖掘技術的研究遇到不少難點，另外一方面限於以前網絡上積累的文本信息還不夠多。隨着 Web 2.0 網絡的興起，互聯網上所積累的用戶文本信息愈來愈多，已經成爲一種不可忽略的信息來源，如電子購物網站中的用戶評論、社交網絡中的用戶狀態，等等。這些文本信息對於瞭解用戶興趣、發掘用戶需求有極其重要的做用，如何充分利用這些數值評分以外的文本信息進行用戶建模和個性化推薦具備重要的意義。

2．推薦系統與人機交互的關係

推薦系統與用戶的交互方式也是相關領域內研究的熱點方向。目前常見的實際系統通常以推薦列表的形式給出推薦，然而一些研究代表，即使是一樣的打分和評價系統，若是展現給用戶的方式不一樣，也會對用戶的使用、評價、效果產生必定的影響。例如，MovieLens 小組第一次研究了用戶打分區間、連續打分仍是離散（如星標）打分、推薦系統主動欺騙等對用戶使用推薦系統形成的影響。與搜索引擎同樣，推薦系統的界面設計和交互方式也愈來愈受到研究人員的關注。

3．長尾效應與小衆推薦

長尾效應在推薦系統中的理解和應用能夠爲進一步提升系統的推薦效果打開新的窗戶。一個推薦系統的性能不能直接以預測評分的精確度測量，而應該考慮用戶的滿意度。推薦系統應該以「發現」爲終極目標，而現存的一些推薦技術一般會傾向於推薦流行度很高的，用戶已經知道的物品。這樣存在於長尾中的物品也就不能很好地推薦給相應的用戶了。可是，這些長尾物品一般更能體現用戶的興趣偏好。

因此，在推薦系統的設計過程當中，不只要考慮預測的精度，還要考慮用戶真正的興趣點在哪裏。研究人員也開始考慮長尾效應在推薦系統設計過程當中的應用，並考慮如何將長尾物品推薦給用戶，以及如何爲小衆用戶推薦合適的物品。

4．可解釋性推薦

推薦系統的可解釋性成爲一個重要的研究課題。隨着實際系統中的數據愈來愈多、規模愈來愈龐大、算法愈來愈複雜，包括推薦系統在內的智能決策系統變得愈來愈黑箱化，系統難以給出直觀可信的解釋來告訴用戶爲何要作特定的決策。

在此背景下，推薦系統的可解釋性變得愈來愈重要，研究人員正在試圖構建可解釋的推薦算法和模型，使得系統不只能夠給出推薦結果，還能夠自動給出恰當的推薦理由。

5．推薦系統的商業價值

推薦系統所能實現的價值也是個性化推薦的一個重要問題。在已有的絕大多數推薦系統中，算法每每只關心準確率、點擊率、購買率等指標，不少推薦算法也是圍繞着對 RMSE、Precision、NDCG 等指標的優化而設計的。然而被推薦的物品未必會被用戶購買，即使被用戶購買，不一樣物品爲系統帶來的價值也是不同的。所以，如何直接優化推薦系統對平臺的價值也是一個重要的演進方向，有助於幫助推薦系統經過推薦恰當的物品，直接優化和提高系統帶來的實際效益。例如，阿里巴巴經過直接優化推薦列表的商業價值來構建推薦列表（Pei, et al.,2019），在這一方向上作出了嘗試。

6．多平臺協做式推薦

愈來愈多的生活項目日益網絡化，在網絡上形成了一個個信息孤島：每個網絡應用平臺擁有用戶在該平臺或該領域內的行爲信息，瞭解用戶在該平臺和領域內的行爲偏好，從而能夠在該領域內給出個性化的專業服務；然而在不一樣平臺和領域之間，尤爲是異質領域（如視頻和購物）之間，用戶的行爲線索並無被打通，每個平臺和領域沒有其餘平臺和領域的用戶行爲信息，也就難以給出平臺以外其餘領域的個性化服務。這些獨立的信息孤島將網絡用戶本來完整而流暢的生活時間線割裂，未能造成渾然一體的個性化服務流程，使得互聯網本應在人們平常生活中所起的重要甚至核心做用大打折扣。

所以，如何由互聯網所鏈接的各個系統協做式地發掘用戶潛在需求，適時地給出跨領域的異質推薦結果和個性化服務成爲推薦系統向通用推薦引擎方向發展的重要問題和研究前沿，並將極大地下降人們使用互聯網的時間和精力成本，免去在各個獨立服務之間進行切換和查找的麻煩。更重要的是，不一樣類型的異質商品或服務之間的信息聯通和相互推薦，蘊含着全新的互聯網運營和盈利模式。例如，經過從歷史數據中進行任務挖掘，旅行機票訂購網站能夠經過異質推薦爲酒店預訂、車輛租賃、團隊預訂等多種潛在的關聯網站帶來流量，並從中得到額外收益；視頻服務商能夠經過異質推薦給出來自購物網站的商品推薦，從而實現虛擬產業收入與實物商品收入的結合，這對促進產業協做發展和產業整合具備重要意義。