計算廣告丨《互聯網廣告算法和系統實踐》讀書筆記

時間 2020-01-26

原文原文鏈接

引言

這是我閱讀《互聯網廣告算法和系統實踐》的筆記，做者王勇睿，在百度閱讀上能夠購買，書的篇幅很短，一天就能看完。前端

本書主要介紹了搜索廣告算法、非搜索（定向）廣告算法和實時競價廣告算法，爲讀者梳理了廣告中的經常使用概念如CTR、ECPM，一個廣告系統如何組成，實踐中還會考慮什麼問題，沒有涉及多的數學和算法模型。本書適合入門，但做爲小白，不少內容讀完後沒有具體的案例消化，理解深度上有所欠缺。我想當具有了必定的實踐經驗後再來翻閱此書，才能融會貫通。以後的計劃是繼續閱讀劉鵬老師的《計算廣告學》。算法

互聯網廣告算法和系統實踐數據庫

第一部分互聯網廣告簡介

1.1 廣告簡介

廣告是由已肯定的出資人經過各類媒介進行的有關產品（商品、服務和觀點）的、有償的、有組織的、綜合的、勸服性的非人員的信息傳播活動。後端
傳統廣告業務包括三方角色：廣告主、媒體、普通受衆
廣告歷史安全

1.2 互聯網廣告

顯示廣告、合約廣告、定向廣告、受衆定向技術
擔保式投放
競價廣告、廣義二階拍賣GSP、廣義一階拍賣GSP
搜索廣告、上下文廣告、實時競價
廣告交易平臺、需求方平臺、提供方平臺
計費方式：點擊付費CPC、銷售付費CPS、千次展示付費CPM

1.3 互聯網廣告類型

條幅廣告
郵件直接營銷廣告
富媒體廣告
視頻廣告
文字鏈廣告
社交廣告
移動端廣告

1.4 有效性模型

曝光：位置很重要。
關注：廣告創意吸引人，藉助算法定向精準投放
理解：讓用戶迅速理解廣告
信息接受：研究人羣行爲，還要藉助心理學
保持：追求中長期轉化
購買：最終決策，給用戶提供更多更好的選擇

好創意不但能吸引人（提高CTR），並且可以抓住人（提高ROI）。cookie

1.5 計費模式

CPM：Cost Per Mile，按照千次展示計費，展示以後的效果廣告平臺不保證。適合品牌廣告。
CPT：Cost Per Time，按照單位時間計費。爲了增長曝光度。
CPC：Cost Per Click，按照千次點擊計費，廣告系統要負責對點擊率CTR預估；廣告主能夠參與競價。關注點擊率，但不關注廣告實際成交狀況，風險由廣告主承擔。
CPS：Cost Per Sale，關注轉化率，對廣告主有利。

對廣告主，風險從大到小：CPM/CPT、CPC、CPS架構

廣告系統收益指標：若千次展示的指望收益CPM值eCPM。併發

1.6 機制設計

1.6.1 廣告位拍賣

n個廣告A，m個廣告位S，m＜n，廣告位拍賣從A中選取m條廣告，依次放置到S中。
拍賣競爭除了展示機會，還包括S中排序位置。
廣告位拍賣過程分爲廣告排序和廣告扣費。廣告排序考慮展示哪些廣告，廣告扣費考慮收取多少費用。
廣告拍賣是屢次重複博弈，納什均衡點、本地無嫉妒均衡、佔優策略、激烈相容

1.6.2 廣義一階價格GFP

廣告展示不扣費
一階價格是指廣告主自己出價。
不存在納什均衡點，競價機器人致使廣告系統收益大大下降。

1.6.3 廣義二階價格GSP

對應第i位廣告，若發生點擊，GSP收取第i位廣告主，第i+1位廣告競價加上一個貨幣最小值。
若廣告主下降競價，其展示位置不變時，不會下降收費。下家沒有下降競價行爲，致使上家付出更多點擊費用。存在本地無嫉妒均衡。
均衡報價：n個廣告A，每條廣告價值V，m個廣告位S，每一個位置點擊率X，每一個位置當前競價P。對於任意廣告位i上得到位置的廣告j有\((v_j-p_i)x_i\ge(v_j-p_{i-1})x_{i-1}\)
均衡點不惟一，不是激勵相容。
現實中廣告扣費要考慮點擊率因素。對於廣告i，廣告系統預估i在當前場景點擊率ai，結合競價bi，計算每千次展示指望收益\(ecpm_i=a_ib_i\)，隨後將廣告集合按照\(ecpm\)排序，排序靠前若干條用於展示。計費時，若第i個廣告被點擊，從廣告主扣除費用爲\(\frac{a_{i+1}b_{i+1}}{a_i}+最小貨幣單位\)
- 若廣告點擊率越高，廣告主扣除費用越少，激勵用戶優化廣告質量提升廣告點擊率。

1.6.4 VCG機制

目標爲最大化社會價值
有n個廣告A，廣告競價爲V，廣告平臺提供S廣告位，每一個位置點擊率X，每條廣告真實價格V。當廣告i不參與關鍵字拍賣，排在i後的廣告主i+1,...,m可得到的預期總收益爲

\[ x_iv_{i+1}+x_{i+1}v_{i+2}+...+x_mv_{m+1} \]app

因爲\(a_i\)參與，廣告得到價值爲

\[ x_{i+1}v_{i+1}+x_{i+2}v_{i+2}+...+x_mv_{m}+x_{m+1}v_{m+1} \]負載均衡

一般只有m個廣告位，因此\(x_{m+1}=0\)，若是\(a_i\)被點擊，那麼它要付出代價是給社會其餘個體帶來的利益損失

\[ (x_i-x_{i+1})v_{i+1}+(x_{i+1}-x{i+2})v_{i+2}+...+(x_{m-1}-x_m)v_m+(x_m-x_{m+1})v_{m+1} \]

VCG相比GSP優點
1. VCG激烈相容，按照真實估價出價是最優選擇
2. VCG機制最大化社會價值，有利於廣告主
3. VCG存在納什均衡，均衡點惟一
缺點
1. 計算困難，可解釋性差
2. 相同競價狀況VCG扣費低於GSP機制，廣告系統不肯意下降收入

1.7 技術課題

優化目標
- 計算廣告學：找到用戶、上下文和合適廣告間最佳匹配。
- 互聯網廣告算法核心問題：根據用戶、環境、廣告所有有效消息，找到最合適的投放策略和模型，兼顧瀏覽者、廣告主、廣告平臺的最大利益，並不斷調整。
- 用戶U、環境C、廣告A，算法目標函數爲\(F(U,C,A)\)
  - 對於廣告主，關注投資回報率ROI，\(F=\frac{\sum_iReturn_i}{\sum_iInvest_i}\)
  - 對於用戶，\(F=\frac{\sum_iClick_i}{\sum_iImpression_i}\)
  - 對於廣告系統，\(F=CTR*PPC*Discount\)，\(CTR\)是點擊率，\(PPC\)是點擊收費，\(Discount\)業務因子。
搜索引擎技術
- 廣告系統和搜索引擎類似，廣告系統沒有爬蟲模塊，經過規範化步驟獲取。
存儲技術和實時計算技術
- 須要一個適合大規模讀寫的存儲系統，須要實時計算系統。
推薦技術
點擊率預估CTR Prediction
廣告主工具
- 對廣告主，廣告系統提供推廣工具和統計工具。
系統架構簡介
- 前端引擎：接受網頁發來廣告請求，初步處理髮給後端，拿到結果拼接返回請求者，這是在線部分Online
- 檢索引擎：關注效率和性能，Online
- 實時點擊率預估服務：對廣告打分，一維、二維分數，Online
- 廣告主操做消息更新服務：廣告主有權隨時更改廣告競價，Online
- 用戶行爲數據收集和更新系統：通常是Online
- 特徵提取和行爲分析：通常用Hadoop平臺，Offline
- 反做弊系統：Offine和Online
- 廣告主後臺：Offline和Online
- 存儲系統：存儲任務<key,value>形式，有Offline和Online
- 計算系統：信息挖掘，通常採起Hadoop做數據挖掘和特徵提取計算，採起MPI架構作模型訓練。

第二部分搜索廣告

2.1 搜索廣告架構

搜索廣告：搜索過程當中搜索引擎推送的互聯網廣告。
當用戶輸入查詢後，廣告系統會通過：廣告檢索、廣告排序、流量分配三個模塊爲用戶提供廣告。
廣告檢索：以當前查詢關鍵字爲基礎+用戶自身信息，從數以萬計的廣告集合中粗選出合適的廣告。可分爲廣告索引和廣告匹配子模塊。
- 廣告索引：將廣告建成\(<key：用戶競價詞, value：關聯的廣告列表>\)的索引形式。
- 廣告匹配：將用戶查詢分解成相關競價詞，從建好的索引中提取廣告。
廣告排序：計算檢索到廣告的質量分數並排序。
流量分配：根據廣告排序分數，決定當前狀況給用戶出哪些廣告。

2.2 廣告檢索

根據用戶關鍵字，選出相關廣告，實際設置粗選和精選兩個步驟：
- 粗選：用信息檢索，選取和查詢關鍵字相關的一批廣告。
- 精選：精確的預估廣告的點擊率，進行排序。
廣告檢索通過三步驟：廣告分析，關鍵字分析和相關性匹配。
- 廣告分析：對廣告進行處理，獲取廣告相關信息。
- 關鍵字分析：根據用戶輸入，判斷是否出廣告，出什麼廣告。
- 相關性匹配：根據關鍵字分析結果，去索引庫中檢索廣告。

2.2.1 廣告分析

兩個目的：
- 將廣告組織成倒排索引形式\(<key：競價詞-value：廣告id鏈表>\)
- 從廣告中抽取特徵。
廣告主創建廣告會選擇相關的競價詞，容易形成常見詞嚴重傾斜，解決問題的方法包括競價詞生成和模糊匹配。
- 競價詞生成：廣告系統經過分析廣告主的landing page，幫助廣告主選取競價詞。
- 模糊匹配：用戶選擇一個通股出價，按照出價，廣告系統本身選擇跟廣告相關的競價詞。

2.2.2 查詢分析

長串：語義信息豐富，展示量不足，總量大，存儲壓力大。提取關鍵詞彙很重要。
短串：語義信息不明確，根據用戶個性化信息或上下文信息消除歧義。
重要指標：擴大召回。

2.2.3 相關性匹配

精確匹配：關鍵字嚴格包含某個競價詞才觸發廣告。
模糊匹配

2.3 廣告排序

廣告系統按照ECPM降序排列廣告候選集，將排序靠前廣告展示出來。
- \(ECPM=廣告競拍價*廣告CTR*1000\)
- 廣告競拍價：廣告主提供；CTR：廣告系統利用機器學習準確預估；
基於點擊模型的CTR預估方法
- 點擊率建模爲\[P(click)=P(click|Seen)P(Seen)\]，從而計算\(P(click|Seen)\)
基於機器學習的CTR預估算法

2.3.1 邏輯迴歸模型

函數形式\(y=\frac{1}{(1+e^{-w^Tx})}\)
- \(x輸入特徵向量，y預測目標，w學習特徵權重\)
- 輸入x，類別爲1的條件機率；輸入x，類別爲0的條件機率

採用極大似然估計學習特徵權重\(w\)
- 最大化似然函數的對數
- 邏輯迴歸求解屬於無約束優化問題，目標函數負對數似然函數剛好是凸函數，能夠採用梯度降低等方法求解\(w\)。
- 尋找負對數似然函數的梯度方向
- 迭代公式
防止過擬合
- L2正則\(NLL(w)+\lambda w^Tw\)
- L1正則\(NLL(w)+\lambda\|w\|_1\)
漂移，在線學習：邏輯迴歸的對數似然函數具備樣本可加性。
- 隨機梯度降低

2.3.2 特徵處理方式

將人的先驗知識，表示成機器學習算法可以接受的方式。
經常使用特徵
- 廣告和查詢關鍵字的類似度：廣告自己特徵、查詢自己特徵、類似廣告的特徵、類似查詢的特徵。
- 廣告的樹形結構信息：廣告主-廣告帳戶-廣告計劃-廣告組-廣告創意，同一個廣告主的其餘廣告創意的CTR能幫助當前廣告創意的CTR。

2.3.3 算法評估

CTR預估模型效果是否好：全流量-小流量實驗-離線指標驗證
衡量預估CTR和真實CTR之間差別，使用AUC衡量CTR預估精度。AUC是ROC曲線下的面積。
- ROC是二維平面上的曲線，橫座標是FPR，縱座標是TPR。調節分類器參數，使得ROC曲線造成一條從(0,0)到(1,1)的曲線，AUC就是ROC曲線下面積之和。
- 互聯網廣告系統計算AUC：AUC等價於正樣本score大於負樣本score的機率。若正負樣本score值相同，則按0.5正樣本score大於負樣本score對計算。
假設正樣本數M，負樣本數N，計算AUC開銷是M*N，經過排序減小AUC時間複雜度。
- 將樣本按照score大小從高到低排序，score第一大樣本得到n=M+N的rank值；第二大樣本得到rank值爲n-1。對rank爲r的正樣本i，組成正樣本score大於負樣本score的樣本對個數爲 r-排在i後的正樣本數。
- 所以AUC可以下方式計算

2.4 廣告主推薦工具

2.4.1 投放要素

廣告主註冊一個推廣帳戶Account，包含多個推廣計劃Campaign，每一個計劃包含多個推廣單元Group，設置Group主要須要競價詞Bidword和廣告創意Creative。
一個Group完整投放需求和策略列表
搜索廣告系統須要幫助廣告主」充分表達本身投放需求」，給廣告主提供投放基本元素。
- 推薦重點在於競價詞Bidword。

2.4.2 競價詞推薦方式

競價詞的推薦方式
- 主動推薦：不用廣告主參加
- 被動推薦：廣告主主動建立一些搜索詞
競價詞的匹配方式
- 精確匹配：精確命中廣告主所競價的詞
- 模糊匹配：廣告系統對競價詞進行必定程度的擴展
推薦工具實際上找到「一座橋樑「
1. 廣告主到中間節點邊歸一化權重，中間節點到候選詞邊故意話權重，文本相關性。
2. 根據中間節點出度、入度信息，計算中間節點調整係數，結合第一步相關性，計算出：\(<廣告主1，中間節點，候選詞>\)的分數
3. 根據\(<廣告主1，中間節點，候選詞>\)的數據，固定一個候選詞，綜合全部中間節點，計算全部\(廣告主1，候選詞1>\)分數，循環計算，得到\(<廣告主1，候選詞>\)打分列表。
4. 根據分數排序，獲取前N個詞。

2.4. 3 其餘工具

投放先後，廣告主須要一些數據幫助決策或者反饋，以下

2.5 實踐一：在線學習前沿

爲了讓模型特徵量縮減，能夠將邏輯迴歸目標函數修改爲，模型將傾向於學習稀疏的\(w\)權重。

\[NLL(w)+\lambda\|w\|_1\]
隨機梯度降低法簡單易行，但每每難以獲得特徵向量稀疏的結果，Google提出FTRL-Proximal方法能夠獲得稀疏性更好的訓練結果，其更新公式爲：
海量數據下，模型存儲量過大給併發查詢時效性帶來很大挑戰。
- 下降模型特徵維數，泊松選擇法
- 下降每一維特徵存儲量，float是4個字節，Google提出q2.13編碼方式，用2個字節。

第三部分定向廣告

定向廣告即非搜索廣告

3.1 上下文定向

根據投放頁面內容，推送相關廣告。關鍵問題對頁面內容的刻畫：
- 內容提供商自定義：廣告平臺預先人工定義一些網頁的類型標籤，內容提供商本身選擇網頁類型。
- 頁面關鍵字提取：爬蟲抽取網頁中內容，進行必定內容分析，從中抽取能夠精確匹配上的競價詞，而後到廣告庫中檢索廣告。
- 網頁聚類：使用爬蟲抽取網頁內容，而後對網頁庫進行文本聚類。

3.2 受衆定向

給當前用戶流量打標籤的過程
- 顯示標籤應用：按照標籤售賣流量
- 隱式應用：不按照用戶標籤顯示售賣流量
受衆定向方法：
- 用戶背景資料調查、行爲定向

3.2.1 監督行爲定向

線性泊松迴歸模型，其中\(\lambda=w^tx\)，W爲預估參數，x爲特徵向量，y爲事件發生頻次。
- 給定數據集\(T={(x_i,y_i)}\)，有對數似然函數
- 其對w的對每一項梯度值爲
經過上面的線性泊松迴歸求出用戶對該興趣點的瀏覽頻次的指望\(\lambda_{view}\)和點擊頻次的指望\(\lambda_{click}\)，用戶i對類別k的CTR計算方法

3.2.2 非監督行爲定向

將用戶向量化表示
- 基於item的向量表示法、基於query的向量表示法
- 向量化後，行爲定向問題建模成經典的聚類問題。

3.3 行爲定向

按照用戶的歷史行爲，進行廣告推薦。用戶的行爲在不一樣類型的廣告系統中有不一樣定義。

3.4 推薦系統

3.4.1 基於用戶的協同過濾算法

想知道用戶n對電影m的評分，須要參考與用戶n類似的其餘用戶，用他們對m的評分來擬合n對m的評分\(r_{nm}\)。對於給定用戶\(n\)，他打過度的電影集合是\(M_n\)，那麼\(n\)的平均得分是\(r_n=\frac{1}{|M_n|}\sum_i^{\in}r_{ni}\)，用戶n對電影m的評分能夠經過以下公式計算，
- \(U_n\)表示與n類似的用戶集合，\(s_{uv}\)表示用戶u和v之間的類似度，\(z_n\)是類似度平滑因子，\(z_n=\sum_i^{\in}|s_{uv}|\)。
- 如何定義與n類似的用戶集合，用什麼方法衡量用戶之間類似度，根據具體應用不斷調試。

3.4.2 基於單品的協同過濾算法

用類似單品的得分來計算\(r_{nm}\)，計算方法以下

\(s_{im}\)表示電影i同電影m的類似度，與基於用戶的協同過濾算法相同，該類似度也須要根據具體應用不斷調試。該算法須要用戶有充足行爲，當用戶行爲比較稀疏，難以給出準確預估結果。

3.4.3 奇異值分解SVD

但願將數據維度下降，實現某種程度上的聚合。
將數據彙集成K個隱藏類，原始矩陣R可被分解成兩個矩陣乘積形式\(R_{nm}=W_{nk}V_{km}\)，\(w_{nk}\)表示用戶n對k類型電影的興趣度，\(v_{km}\)表示電影m屬於k類型電影的隸屬度。
線性代數中，任何一個實矩陣R可分解爲\(R=U\sum P^T\)
- \(\sum\)是K*K的對角線矩陣，\(K\)爲矩陣R的秩，對角線上每一個元素爲\(RR^T\)矩陣特徵值的平方根。
- U是N*K的矩陣，每一列是矩陣\(RR^T\)的特徵向量。
- \(P^T\)爲K*M的矩陣，P中每一列是矩陣\(A^TA\)的特徵向量。
去除\(\sum\)中絕對值較小的特徵值，並在U和P中除去其對於的特徵向量使得，從而達到降維目的，使得R計算高效。
實際推薦系統，除了使用SVD方法求得W和V之外，另外一種方法令\(\hat{R}=WV\)，最小化\(\hat{R}\)和R的差別，求解出最優W和V。損失函數是

3.5 定向排序

定向廣告排序和搜索廣告排序機制基本相同，cpc收費下，二者按照ecpm進行排序。計算ecpm最重要因素是對廣告進行ctr預估。
搜索廣告的ctr預估通常是單模態模型，而定向ctr預估可看做是多模態模型，如何融合不一樣定向方式也是多模態學習的難點。

3.6 實踐一：定向廣告算法架構

定向廣告解決「這樣一我的」應該配"什麼樣的廣告"？
定向廣告要素
第一步根據用戶歷史行爲，選定一批用戶的意圖，並找到對應的廣告。
- 推薦系統（利用用戶歷史行爲）
- 利用用戶屬性方法（人口統計學）
- 利用標籤方法
第二步根據這些廣告，進行排序。
- 若是考慮點擊率就是作\(<user,ad>\)點擊率預估，得到打分。
- 採用ecpm進行排序\(ecpm=ctr*bidprice\)

3.7 實踐二：定向廣告的平衡之道

關於用戶疲勞
- 針對頻繁訪問的用戶
- 針對訪問次數稀疏，興趣點轉換很慢的用戶
- 「一次性」的類型興趣
- 「連續型」的類型興趣
關於多樣性
- 給用戶選擇的餘地
- 首先保證召回率，而後根據候選集進行進一步選擇，保證底線。
關於多目標
- 除了CTR，還有ROI、CVR
- 多指標線性融合\(rankscore=ctr*roi*bidprice\)
- 對ROI好的創意篩選再利用\(rankscore=ctr*bidprice\)
關於E&E（搜尋和探索）
- 如何給新加入的廣告和冷廣告展示的機會。

第四部分實時廣告競價

實時廣告競價：創建一種流量交換的協議，使得媒體和廣告聯盟向全網範圍的廣告主提供還沒有出售的流量，廣告主和廣告聯盟實現合做雙贏。

4.1 基本概念

技術核心
- 將實時產生的展現廣告流量及相關特徵如客戶信息、廣告位信息推送給每一個感興趣的購買者，而且搜索出反饋協議。
- 對推送流量的價值進行實時評價並給出具體CPM出價的方法。
三類角色
- 廣告交易市場AdExchange：實時廣告競價中流量進行實時交易的平臺。
- 需求方平臺DSP：廣告交易市場中的買方。
- 供應方平臺SSP：廣告交易市場中的賣方。