一線大廠解讀:最懂你的推薦系統,是怎麼搭建的?|大數據

獲取信息是人類認知世界、生存發展的剛需,搜索和分類導航是比較經常使用的方式,好比聚餐想吃火鍋的時候會在大衆點評輸入火鍋檢索,搜索引擎會根據價格、地點、好評率等因素綜合排序,給你一個最匹配的結果。算法

這是一種主動獲取信息的方式。但不少時候會出現這種狀況,你的瀏覽行爲是無目的性的,好比看淘寶主頁的猜你喜歡、百度封面的推薦閱讀、刷抖音時接連出現的視頻……框架

在大數據環境下,這種被動接受信息的懶人式信息獲取方式被更多的人接受,推薦系統(Recommendation System)儼然成爲一種標配了,一款APP若是連推薦系統都沒有,都很差意思拿出手。機器學習

而在電商領域,推薦的價值在於挖掘用戶潛在購買需求,縮短用戶到商品的距離,提高用戶的購物體驗,像亞馬遜、Netflix都經過推薦系統產生了極大的商業利潤,亞馬遜整個體系中已經有20%~30% 的 GMV 是經過推薦帶來的,****推薦系統每一年爲Netflix產生的商業價值就超過10億美圓。學習

一個完整的推薦系統主要包括數據建模、用戶建模、推薦引擎3個部分。如圖1所示:大數據

數據建模:負責對擬推薦的物品數據進行準備,將其表示成有利於分析的數據形式,肯定要推薦給用戶的候選物品,並對物品進行分類、聚類等預處理。優化

用戶建模:負責對用戶的行爲信息進行分析,從而得到用戶的潛在喜愛。用戶的行爲信息包括問答、評分、購買、下載、瀏覽、收藏、停留時間等。搜索引擎

推薦引擎:利用後臺的推薦算法,實時地從候選物品集合中篩選出用戶感興趣的物品,排序後以列表的形式向用戶推薦。推薦引擎是推薦系統的核心部分,也是最耗系統資源和時間的部分。orm

這三部分總結起來就是:推薦算法選擇認爲合適的(效果好的)的算法模型,將算法模型部署到線上推薦業務中,利用算法模型來預測用戶對物品的偏好,經過用戶的真實反饋(是否點擊、是否購買、是否收藏等)來評估算法效果,它的本質上就是一個機器學習問題。cdn

那麼推薦召回是怎麼回事?如何正確使用合適的算法模型?TB、PB級別的數據涌入對算法模型的選取有哪些影響?該如何優化?有哪些開源大數據推薦軟件?視頻

本期菜鳥窩邀請到阿里算法工程師sam開設了一堂免費直播課,他在推薦系統和內容理解方面有豐富經驗,曾就任德企作無人駕駛相關工做,熟練掌握MapReduce、 Spark 、Hive等大數據處理框架,Pytorch、Tensorflow等深度學習框架,熟悉各種機器學習算法。


Chris老師 阿里算法工程師

7年+算法從業經驗,現任職於阿里,曾領導搭建某上市遊戲平臺算法團隊,在智能數據、機器學習、深度學習算法落地等方向有豐富的實踐經驗。

內容精華:

1.什麼是推薦系統
2.推薦系統評測
3.推薦系統經常使用流程(召回、排序、打散)
4.推薦系統三個重要模塊
5.推薦系統和大數據是如何碰撞出火花的

推薦系統的視頻講解請戳連接:https://www.cniao5.com/course/10244
勾搭助教weixin:BT474849,免費加入高手彙集的大數據學習交流羣~
相關文章
相關標籤/搜索