閱讀之推薦系統

推薦是當代各個系統的重要流量入口。近年來推薦發展逐漸的多樣化，場景上逐漸覆蓋到各流量入口，推薦的實體也擴展到活動、類目、運營位等。

在網站裏進行推薦，能夠提升整個網站的有效轉化率，提升用戶使用系統的溫馨度。經過用戶已經瀏覽的記錄，更精準的理解用戶需求，對用戶進行聚類、打標籤，推薦給用戶感興趣的，幫助用戶快速找到須要，適時放大需求，推薦更加多樣化。甚至在站外推廣時，可以作個性化。

推薦分爲常規推薦、個性化推薦。

個性化推薦的難點

平臺前端實現用戶千人千面，然後臺須要創建複雜的用戶行爲數據採集、數據存儲、數據建模和用戶畫像過程，單純採集某一緯度的數據，僅能達到個性化推薦的部分效果，若是要提高個性化推薦的效果，就必須覆蓋用戶多領域足夠全面的行爲軌跡，甚至用戶線下行爲，這就造成了以互聯網平臺爲核心的生態系統，要想創建全面的個性化推薦，數據採集的涉及領域須要足夠廣，足夠深。下面從用戶畫像、數據採集、數據存儲、數據建模講解個性化推薦的難度。

1. 用戶畫像

用戶畫像是經過用戶興趣、行爲、自身屬性創建的一個模型。經過對用戶的調研、對用戶行爲的分析，結合業務的需求，將用戶分爲不一樣的羣體；而後在羣體中抽象出一些典型的特徵，用結構化的信息記錄下來，歸納出用戶的特徵。

用戶畫像的做用

1.精準營銷，分析產品潛在用戶，針對特定羣體利用短信郵件等方式進行營銷；

2.用戶統計，好比熱銷商品top100品牌；熱度最高的新聞等等

3.數據挖掘，構建智能推薦系統，利用關聯規則計算，喜歡X運動品牌的人一般還喜歡什麼，利用聚類算法分析，關注x品類人的性別、年齡分佈狀況

4.效果評估，完善產品運營，提高服務質量，其實這也就至關於市場調研、用戶調研，迅速下定位服務羣體，提供高水平的服務；

5.私人定製，即個性化的服務某類羣體甚至每一位用戶（我的認爲這是目前的發展趨勢，將來的消費主流）。

6.行業分析，業務經營分析以及競爭分析，影響企業發展戰略。

2.數據採集

首先須要在網站和移動App中進行埋點，在頁面埋入『隱形』探針，採集用戶行爲數據和業務系統操做日誌、從數據庫中提取業務數據，採集回來存儲在數據服務，採集服務器組負責將採集到的日誌信息生成文件，落地到存儲設備，用戶行爲數據採集基本上採用SDK方式；ETL服務器負責將日誌文件和結構化數據導入數據存儲分析集羣，並將分析結果導出到數據庫；數據解析服務器負責鏈接數據分析服務器，完成數據分析各項計算；存儲服務和分析服務提供數據分佈式存儲和計算的基礎框架。

用戶行爲數據的處理和分析具備較高的技術門檻：

一、SDK會採集到大量的"髒數據"，包含一些空白區域和特殊符號，甚至根本沒有見過的數據類型，這些髒數據的處理和分析具備較大的技術挑戰，特別是數據的實時採集和處理。一般技術人員只有經歷了海量數據採集和處理，填平了大量"技術坑"以後，才能造成成熟的技術架構。

二、採集的數據都是以渠道、日期、地區統計，沒法定位到具體每一個用戶，計算統計出的數據都是規模數據，針對規模數據進行挖掘分析，沒法支持，數據沒法支撐系統作用戶獲客、留存、營銷推送使用。

因此，要使系統採集的數據指標可以支持平臺前端的個性化行爲分析，必須圍繞用戶爲主線來進行畫像設計，在初期可視化報表成果基礎上，將統計出來的不一樣規模數據，細分定位到每一個用戶，使每一個數據都有一個用戶歸屬。將分散無序的統計數據，在依據用戶來銜接起來，在現有產品界面上，每一個統計數據都增長一個標籤，點擊標籤，能夠展現對應每一個用戶的行爲數據，同時能夠連接到其餘統計數據頁面。

3數據存儲

用戶行爲數據採集後，須要存儲在數據倉庫，對採集的原始數據進行ETL加工處理，首先須要處理掉存儲的無效重複數據，對於用戶行爲沒有影響或重複數據，對非結構化數據和半結構化數據進行結構化處理，並對數據進行補缺、替換、數據合併、數據拆分、數據加載和異常處理。

4數據建模

用戶模型的表示方法有4類: 協同過濾模型、行爲規則的模型、基於概念的用戶興趣模型與向量空間模型。向量空間模型(VSM)是最爲經常使用的用戶模型表示方法之一, 一般使用一組向量值描述用戶特徵, 向量的每個維度表明用戶感興趣的一個主題。

03推薦流程

個性化推薦系統通常有三大環節：預處理 -> 召回 -> 排序 。

注：也能夠認爲是兩層（召回 -> 排序）

預處理

第一個環節是預處理，預處理指的是對各類數據源的數據進行特徵提取和特徵構建，例如：內容特徵提取，用戶行爲畫像構建。

召回

第二個環節是召回，召回就是把預處理產生的特徵做爲輸入參數，訓練出推薦模型，而後使用推薦模型得出候選集合的過程。經常使用的召回方式有：基於內容推薦、基於協同過濾推薦等。

排序

第三個環節是排序，簡單來講就是將候選集合根據必定的規則，例如：點擊預估、匹配關聯度、人爲權重等進行調整，從而影響最後的推薦順序。

 

總結：推薦系統是當前互聯網時代的必要趨勢，是經過大數據分析總結出個性化用戶的必然結果，同過推薦知足用戶的需求，經過數據挖掘知足用戶的潛在須要，使用戶的體驗更加溫馨。