國美深度學習初體驗，開啓社交電商的智能時代！

本週五(2017 年 7 月 21 日)，由 51CTO 主辦的 WOTI2017  全球創新技術峯會將於北京富力萬麗酒店舉行，這次峯會設有全天的巔峯論壇，及深度學習、人機交互和智+應用等分論壇。

國美大數據中心副總監楊驥，將出席深度學習分論壇，作主題爲「深度學習開啓社交電商智能時代」的演講。在會前交流中，楊驥介紹了這次演講的部分技術乾貨，讓咱們搶先看。

人工智能、機器學習與深度學習的關係

從馮諾依曼體系結構的提出開始，人類使用計算機就有了智能化的訴求。也就是使用計算機或機器人可以幫助人類作繁雜或者作不到的事情，從根本上來講，就是提高整個社會的生產效率。

相對於機器學習和深度學習，人工智能的概念更爲寬泛。在機器學習方法興起以前，大部分的人工智能應用都是基於邏輯推理實現，即設定N多規則，在不一樣場景，讓機器或者程序作選擇。

做爲人工智能的一個分支，機器學習利用統計或者幾何表達的形式處理問題，專門研究計算機怎樣模擬或實現人類的學習行爲，以獲取新的知識和技能。直到上世紀90年代，伴隨着互聯網行業的興起，機器學習掀起了人工智能領域一個新的熱潮。

深度學習屬於神經網絡模型的範疇，自己並非一個新的概念，早在上世紀4、五十年代，就有了最簡單的神經網絡——感知機模型。

2006 年，Geoffrey Hinton 提出了 LayerwisePre-Training 方法訓練多層 RBM 網絡(即  DBN)，神經網絡在大數據規模上的效果取得了長足的進展。

深度學習自己就是對訓練數據進行分層表達，將低層級特徵逐步抽象成高層級特徵的過程，同時擬合出很是複雜的高維非線性函數，這是大多數機器學習模型難以望其項背的。

機器學習在國美的應用實踐

目前機器學習在國美的應用，常規階段已經趨近成熟，如基礎數據收集、數據處理、特徵工程、模型部署等方面，目前的主要工做是算法和業務邏輯的快速迭代。

接下來咱們會在深度學習、計算機視覺、天然語言處理、語音識別等方面繼續加大研發力度，除了搜索、推薦、廣告等線上業務外，還會重點支持線下門店的新興購物場景，實現國美社交電商的新零售平臺落地。

我入職時，國美在機器學習方面還比較薄弱，以後團隊建設、整套算法和架構部署等都由我親自建設起來。相比以前的效果，GMV  提高幅度很是大。舉例來講，在商品推薦過程當中，利用機器學習排序和傳統的排序方式相比，各方面都有很大改變。

初期針對 Web 首頁、手機 APP  首頁等一些推薦位置，系統基於冷啓數據，作一些歸類、統計等，展現到頁面上，這時每一個用戶訪問的時候，看到的效果毫無差異。

這樣就會使得用戶對推薦產品不感興趣，毫無粘性可言，同時將其餘商品寶貴的曝光機會浪費掉了。那麼如何作到推薦個性化?這裏就涉及到利用機器學習進行推薦的個性化排序。

以下圖，是機器學習排序工做流：

先要對海量的數據進行訓練，基於用戶、查詢、商家數據找特徵，以後作模型訓練，通過線上部署以後，正式上線。

以下圖，是推薦排序的訓練流程：

推薦排序訓練流程分別爲場景恢復、訓練樣本構建、模型訓練和線上實驗這四部分。

推薦離線模型的構建流程：

• 收集用戶行爲，包括點擊、加購、關注、下單等。

• 對行爲進行過濾，好比：join(白名單)、統計截斷、position-bias、屢次加/刪購等處理。

• 制定行爲評分規則，生成評分矩陣。

• 訓練矩陣分解模型。

• 導入緩存，請輸入文案。

以下圖，是推薦離線模型的評分規則：

這裏值得提醒的是在打分以前，必需要對數據進行清洗，去除「點擊狂人」、「用戶誤點」、「買後查單」等狀況。其中，對很是活躍的用戶要對他的行爲進行降採樣。

深度學習在國美的應用實踐

傳統計算機視覺工做流是由計算機視覺專家進行特徵的設計，如 SIFT，KAZE，HoG，SURF 等。以後是訓練分類器，進行多目標識別。

以下圖，是傳統計算機視覺工做流程：

傳統計算機視覺領域不只須要領域知識，還須要耗費巨量時間，深度學習的發展給這個領域帶來了新的變革。

深度學習工做流是根據訓練數據自動構建特徵，將特徵抽取和分類/檢測任務同時進行。深度學習專家須要作的事情就是定義神經網絡架構，並進行訓練。

以下圖，是深度學習工做流：

深度學習會自動訓練出好的特徵，而且不少方法能夠在各個領域中通用。在國美的作法是深度學習+CV 工做流，也就是將計算機視覺特徵和深度學習特徵相結合。

同時，抽取計算機視覺特徵和 DNN 特徵，以後進行多目標的識別。以下圖：

深度學習與視覺特徵

利用機器學習對圖像視覺特徵進行提取的過程，能夠分爲四步，分別是圖像標註、提取特徵、降維和匹配檢索：

圖像標註。對國美全站的商品圖像進行標註，這個過程當中最主要的工做是數據清洗，即把不能和品類對應的圖片刪除或者從新進行品類校準。

先統計國美全站最近一年內各品類下商品總數的分佈，而後按照分佈進行圖片抽樣。

提取特徵。圖片的特徵分爲經過深度學習獲得的特徵和圖像局部的特徵。可利用 caffe 訓練 CNN。

將倒數第二層輸出做爲 Feature Learning 的結果提取出來(Deep Learning + Transfer  Learning)，可利用局部特徵算子(SIFT，kaze等)提取出圖像的局部特徵。

降維。用積量化(ProductQuantization)的方法對深度學習獲得的特徵進行降維，用 Fisher Vector  對圖像局部特徵進行降維。

匹配檢索。採用最近鄰搜索的方法找出每個商品的類似商品集合。

深度學習構建 GomePlus 新場景：「拍照購」

基於深度學習構建的「拍照購」場景在國美已經上線，它能夠實現根據用戶上傳的圖片預測品類，推薦相關商品。具體步驟以下圖：

當用戶拍照或者從 PC  和手機選取商品圖片上傳成功之後，系統就會進行特徵向量的計算及匹配。以後猜想用戶想要的商品，根據商品圖片庫的相關結果進行展現。

深度學習構建 GomePlus 新場景：搭配購推薦

基於深度學習的檢索技術能夠獲得一套通用的商品特徵學習框架。

在此基礎上，針對不一樣種類商品，尤爲是服裝類商品，能夠進行搭配推薦。同時有待進一步研究分佈式檢索引擎、特徵壓縮、CNN 模型移動端部署等。

深度學習構建 GomePlus 新場景：類似推薦

進行拍照購的同時，咱們還在個性化推薦場景下嘗試了基於圖片的類似推薦，由於目前主流的推薦召回方法都是在大規模用戶協同行爲數據上進行建模，會形成召回結果比較集中的問題。

從用戶的角度，類似推薦的場景訴求仍是想找到和主商品「相貌相同或者類似」的商品。所以利用圖像找類似更符合用戶的需求，同時還提升了推薦結果的多樣性和新穎性。

寫在最後

利用機器學習和深度學習構建推薦場景時，最大的難點是數據源頭，即數據收集問題。如今，大多數企業作算法，基本是如何作特徵、如何訓練模型。

正確的作法應該是從數據收集、前端進行埋點，數據科學部門就應該參與，而不是被動的等待數據進來，基於提供的數據作事情，這是很是關鍵的點。

將來國美在前沿技術方面的佈局着重在計算機視覺和語言識別兩大方向，如線下店鋪的人臉識別、商品識別、深度學習的雲平臺、智能輔助購物等。同時，國美還將在圖片描述生成、圖像  2D 轉 3D、以及深度學習個性化排序等方面進行嘗試。

本人關注架構、算法，運維等技術領域，有投稿、尋求報道意向技術人請聯絡 wangxy@51cto.com

楊驥

國美互聯網大數據中心副總監

負責個性化搜索和推薦平臺規劃及搭建。畢業於中國傳媒大學，得到機器學習和計算機視覺方向博士學位。前後任職於凡客、京東。多年來致力於機器學習在互聯網領域的應用。在搜索、推薦、用戶畫像、圖像分析等方面有着豐富的實戰經驗和項目管理心得。目前專一於社交電商領域的深度學習技術。