淺析eBay聯盟營銷的上下文廣告機制

本文由 「AI前線」原創，原文連接： 淺析eBay聯盟營銷的上下文廣告機制
做者｜eBay
譯者｜Sambodhi
編輯｜Natalie

AI 前線導讀： 上下文廣告是與內容匹配的網絡廣告，好比，用戶在網絡上瀏覽信息，若是看到汽車相關的文章，就會看到汽車銷售、汽車保險、汽車雜誌相關的廣告。上下文廣告會成爲智能廣告的前奏。eBay 聯盟營銷的上下文廣告作得至關出色，今天咱們就來看看 eBay 是如何將自家的上下文廣告作到極致的。

eBay 利用各類營銷渠道將新客戶和現有客戶聚集到該網站，其中之一就是 eBay 的聯盟計劃。eBay 還提供工具包來幫助發佈商 / 分支機構增長佣金。有些工具可在 eBay 網站上購物時建立可跟蹤的連接。至於更復雜的工具，如咱們的 API，能夠支持自定義訪問 eBay 的產品列表數據。例如，用戶能夠建立橫幅來添加實時的 eBay 清單到本身的網站。本文討論瞭如何根據頁面內容在發佈商網站進行上下文廣告。這種方法的亮點包括：

• 根據頁面內容，經過算法肯定如何識別出頁面的標題 / 相關關鍵詞。
• 忽略凌亂的 HTML 內容，只篩選相關和重要的關鍵詞。
• 在不丟失推薦關鍵詞的相關性的狀況下，隨着網址數量的增長進行擴展。
• 使用經測試並確認有效的 eBay 搜索算法，提供相關的 eBay 條目，在發佈者頁面上呈現。
• 僅當頁面返回積極情緒時才觸發條目呈現算法。咱們已根據內容和上下文，爲每一個 HTML 頁面構建了情緒預測算法。

聯盟營銷模式

聯盟營銷是一個網上推薦項目，商家向發佈商支付他們所提到的客戶銷售的佣金。

AI 前線：Affiliate Marketing，中文能夠理解爲聯盟推廣，也叫聯盟營銷，佣金計算方式是按成交付費，也便是 CPS。Affiliate Marketing 的優勢是佣金每每比較客觀。Affiliate Marketing 是一種由來已久的推廣方式，由你向某我的推廣某一個產品，當那我的經過你的推廣購買了產品時，你就能夠得到佣金。佣金的多少取決於你推廣的產品。

有不少方法能夠向訪問咱們合做夥伴網站的客戶提供相關廣告：

1. 經過展現用戶在過去與 eBay 互動的內容 (也稱爲重定向廣告)，咱們將其定位爲相同、類似或者互補的項目。（已產生興趣，咱們嘗試經過購買來轉話客戶。）
2. 經過提供來自發布商提供的關鍵詞的 eBay 條目。（使用 eBay 搜索服務提供基於發佈商提供的關鍵詞的條目）
3. 基於用戶正在查看的內容，從而鼓動他們在 eBay 上進行訂閱或購買決定。

AI 前線：所謂重定向廣告是效果類廣告中的一種精準投放方式。在消費者購物的過程當中，經常會由於這樣或那樣的緣由，最終沒有完成轉化。重定向廣告將商品展現到此類未完成轉化的消費者面前，將其帶回到相關網頁。因爲展現的商品每每也是消費者最想要的，因此重定向廣告的轉化率比通常廣告要更高。

在本文中，咱們將討論如何發佈就廣告內容相關的廣告，並討論一些咱們用來實現業務目標的幾個算法。

算法 1：基於主題建模和頁面標題

處理流程：

1. 搜尋發佈商網站。
2. 抓取發佈商的內容。
3. 肯定內容是否反映正面或中立的情緒。
4. 使用天然語言處理技術來肯定感興趣頁面中相關的關鍵詞。
5. 基於關鍵字，調用 search API 獲取該單詞的 top 項目，並在發佈商的網頁上分享。

詳細過程：

1. 搜尋發佈商網站：使用自制的網絡爬蟲，搜尋發佈商的網站。網絡爬蟲會搜尋並返回發佈商網址的 HTML 文件。（發佈商明確地選擇這種定位的方式，所以理解並容許咱們抓取他們的網站。）
2. 抓取發佈者內容：抓取由<p>描述的內容標籤的 HTML 文件。另外，抓取標籤<div>下的內容，這樣咱們就能夠得到更多關於頁面的細節。該算法將處理頁面上不須要的內容。
3. 識別頁面的情緒：

算法：爲頁面內容生成一大堆單詞，對否認詞進行懲罰，並對正面單詞進行獎勵，而後計算整個頁面的得分。

• 一旦頁面被抓取，咱們經過刪除中止字、特殊字符、標點、空格等清理網站內容，以得到文獻術語相關矩陣（Document Term Matrix，DTM）。DTM 包含頁面上的單詞列表及其相關的頻率計數（一般也成爲術語頻率）。
• 而後咱們運行三個單獨的通用情感詞典，如 AFINN、Bing 和 nrc（由 Finn Arup Nielsen、bing Liu 及其合做者 Saif Mohammad、Peter Turney 編纂）。全部這三個詞典都是基於一元模型（unigrams），即單個單詞。這些詞典包含了許多英語單詞，這些單詞被賦予積極 / 消極情緒的分數，也多是諸如喜歡、憤怒、悲傷等情緒。nrc 詞典將單詞以而二進制形式分類（是 / 否）分爲積極、消極、憤怒、期待、延誤、恐懼、喜悅、悲傷、驚訝和信任。Bing 詞典以「二元」方式將單詞分爲「褒義」「貶義」兩類。而 AFINN 詞典則給單詞打分，分數在 -5 到 5 之間，負分表示消極情緒，正分表示積極情緒。
• 該頁面必須有三個詞典中的兩個才能返回正分數，以便將 URL 視爲正數。

這種簡單易行的檢測情緒的方法是強大而準確的，咱們構建了一我的工判斷工具來整理算法的效率。實現了誤分類率爲 16%，這意味着 84% 的時間，算法預測了頁面的實際情緒。

4. 肯定相關的關鍵字

• 基於內容： 咱們採用 Gibbs 抽樣（Gibbs Sampling）來運行 LDA 主題建模算法，得到兩個主題，每一個主題有三個關鍵詞，以機率最高的術語被做爲頁面的關鍵詞。少於一次的單詞則從集合中予以刪除。
  
• 基於頁面的標題： 咱們拉取頁面的標題，進行解析並過濾出名詞（單複數）、專用名詞（單複數）、外來詞和基數詞，並根據標題，基於它們在網頁上出現的頻率從中抽取前三個關鍵詞。

而後將上述兩種方法生成的關鍵詞結合起來，根據頁面出現的頻率，從結合中取出前三個惟一關鍵詞。

AI 前線：Gibbs 抽樣是 Metropolis Hastings 算法的一個特例。MH 算法利用了馬爾可夫鏈的細緻平衡，從而得到了聯合分佈的採樣。有了聯合分佈的採樣咱們就能夠獲得邊緣分佈，而這在貝葉斯推斷中求後驗分佈有重要做用。

主題建模概念

• 主題建模是一種無監督的方法，可自動識別出出如今文本中的主題，並派生出文本語料庫所展示的隱藏模式。粗略地說，一個主題是在詞彙表中一組術語的機率分佈，能夠看作是「在語料庫中共同出現的術語的重複模式」。
• 主題模型與基於規則的方法不一樣，它們使用正則表達式或者基於詞典的關鍵詞搜索技術。
• 咱們使用隱狄利克雷分佈（Latent Dirichlet Allocation，LDA）進行主題建模。它是一種矩陣分解技術，是潛在語義索引（Latent Semantic Indexing，LSI）的機率版本，試圖提取數據中的潛在因素，即「主題」。

AI 前線：隱狄利克雷分佈，簡稱 LDA(Latent Dirichlet allocation)，是一種主題模型，它能夠將文檔集中每篇文檔的主題按照機率分佈的形式給出。同時它是一種無監督學習算法，在訓練時不須要手工標註的訓練集，須要的僅僅是文檔集以及指定主題的數量 k 便可。此外 LDA 的另外一個優勢則是，對於每個主題都可找出一些詞語來描述它。LDA 首先由 Blei, David M.、吳恩達和 Jordan, Michael I 於 2003 年提出，目前在文本挖掘領域包括文本主題識別、文本分類以及文本類似度計算方面都有應用。通俗來講，能夠理解爲：讓計算機給人們推測分析網絡上各篇文章分別都寫了些啥主題，且各篇文章中各個主題出現的機率大小（主題分佈）是啥。簡而言之，就是根據給定的一篇文檔，推測其主題分佈。

算法 2：基於頁面的標題

該算法基於頁面標題和副標題的詞頻。

• 一旦網站被搜尋（咱們使用 HTML 標籤<div>和<p>中的內容），經過移除停用詞、特殊字符、標點符號、空格等來清除站點內容，獲取包含單詞列表及其相關頻率的文檔。
• 而後，咱們只抓取頁面的標題和副標題 (<h1到h6>)，只過濾名詞 (單數和複數)、專有名詞 (單數和複數)、外來詞，以及標題和副標題上的基數詞。
• 而後，咱們在實際頁面內容上獲取最多見的三個標題 / 副標題，並將這三個關鍵字傳遞給搜索服務。

5. 調用 eBay search API 來獲取關鍵詞——一旦爲各網頁提供了關鍵詞，就會將其傳遞到咱們的搜索服務 API 中，以得到條目推薦。

示例

URL: mashable.com/2017/10/25/…

算法 1 展現了《怪奇物語》（Stranger Things）的記念品，而算法 2 則展現了《怪奇物語》的魔王海報。這是由於算法 1 缺乏「海報」關鍵詞，這正是本文要討論的內容。

咱們從用戶的判斷工具中選擇了算法 2 和算法 1，並進行比較，算法 2 的表現優於算法 1。

結果： 這個簡單而有效的算法在收集大量網址的反饋過程當中，通過多輪人工判斷，咱們發現：

• 觸發關鍵字生成算法的情緒算法可以預測頁面的正確情緒，高達 84%。
• 與算法 1 相比，針對關鍵詞的算法 2，及以後的 eBay 條目生成獲得了更高的反饋分數（在人工判斷工具中以 5 分爲滿分，則大於 3.5 分）。
• 每一個網址都有一個新的 eBay 類別預測算法，若是沒有關鍵詞生成算法的結果，則會使用這個算法。
• 此外，營銷數據科學團隊正致力於基於頁面上顯示的圖像生成相似的 eBay 條目列表。另外，該團隊正在爲發佈商頁面上出現的圖像構建一個合理的撤回 eBay 條目清單機制。（即若是發佈商頁面上有高山的圖片，那麼在爲圖像呈現 eBay 相關條目時，算法不該將這些圖片做爲種子圖像。）
• 一旦產生這些不一樣的定位方式，營銷數據科學團隊計劃創建一個機器學習模型，肯定用戶層面上如何響應不一樣的定位方式（基於上下文相關的關鍵詞、基於由發佈商提供的關鍵詞的圖像、基於重定向）並根據訪問相同頁面的不一樣客戶來進行調整。

總之，若是發佈商能夠在其頁面上提供與上下文相關的 eBay 條目，則無需執行任何操做，只需註冊該程序便可，咱們最終會爲發佈商、買家、賣家和 eBay 提供一個有利的生態系統。

原文連接：Contextual Advertising for eBay Affiliate www.ebayinc.com/stories/blo…

更多幹貨內容，可關注AI前線，ID：ai-front，後臺回覆「AI」、「TF」、「大數據」可得到《AI前線》系列PDF迷你書和技能圖譜。