論文泛讀：Click Fraud Detection: Adversarial Pattern Recognition over 5 Years at Microsoft

這篇論文很是適合工業界的人（好比我）去讀，有不少的借鑑意義。

強烈建議本身去讀。

title：五年微軟經驗的點擊欺詐檢測
摘要：1.微軟很厲害。2.本文描述了大規模數據挖掘所面臨的獨特挑戰、解決這一問題的技術的設計選擇和原理，並舉例說明了該系統在打擊點擊欺詐方面的有效性和一些定量結果。

1.What is Click Fraud? 什麼是點擊欺詐
Click fraud is the term used to describe artificial clicks generated on advertisements to either create direct or indirect financial gain from the pay per click payouts [36].
點擊欺詐是一種虛假的點擊去直接或間接的騙取PPC的錢。
點擊欺詐->廣告商爲無心義的點擊付費->廣告商下降本身的出價->投資回報率下降->客戶減小→公司利益受損

2.Examples of Click Fraud Attacks 點擊欺詐例子
有人僱12我的來點擊廣告。有人用了一臺電腦，天天模擬點擊15次。還有個100000臺電腦的大規模做弊，下載一個屏保後中毒，而後這個屏保會低頻的去搜索特定的關鍵詞。

3.Overview of paper
做爲微軟，我會講一些大規模的數據挖掘的經驗，來告訴大家怎麼防護點擊欺詐。

4.Why Click Fraud Detection Is Hard
挑戰主要是如下幾點：1.吞吐量大，天天數億的點擊 2.模型須要快速更新才能對抗 3.做弊是低頻率的 4.用戶的匿名性 5.攻擊是能夠編程的 6.精度要求高 7.須要在毫秒範圍內檢測做弊

5.Filtration System Principles 過濾系統原理
5.1 Lossless Processing
設計了一個過濾器，在以前是過濾掉的記錄會刪除，如今是會記錄下來。咱們堅信點擊守恆定律，點擊既不會被創造，也不會被丟棄，只會從一種分類轉換成另一種分類。
這就是無損失，不要刪除過濾掉的點擊。

5.2 Rapid Update Capabilities 快速更新策略
以前過濾策略是散佈在不一樣的系統裏面，如今是一個單獨的服務，咱們針對服務作了不少的事情，使得能夠快速的修復／更新，以達到生產要求。
集中式的服務，極大的提升了咱們應對攻擊的速度。

5.3 Rules Representation
規則的好處是：
1.清晰，能夠輸出報告
2.壞的規則很容易被分離出來，刪除以後也不會影響模型
3.機器學習和規則能夠融合
4.決策是能夠被審計的？
5.出現bug很容易修復
6.易於解讀
7.能夠簡單而又快速的更新模型
8.能夠簡單的整合別人的成果

5.4 Rule Bitmaps (「Multiple Rules」)
用bit來記錄這個點擊觸發了哪些規則，好比001000101，就觸發了1，3，7三條規則。若是有一個規則出現的故障，咱們以後只須要不考慮這一位便可。

5.5 Model Flighting (「Multiple Models」)
用多個模型，一樣的輸入，看結果以後，能夠評價出模型的好壞。
是從實驗走到線上的一個途徑，並且能夠選出好的規則？

5.6 Redundant Keys (「Multiple Keys」)
對一個用戶，用多個冗餘的key值來定義，增長做弊的成本。

1. 架構
   原文中說有個圖來解釋這個架構，但實際上論文裏面並無這圖= =，全憑想象。。。
   流程是：用戶訪問網站->發送http請求到adCenter請求廣告→adCenter發送一個請求到engine->2ms內送到ARTEMIS (adCenter Real-Time Extendible Model Impression Scoring) 對用戶進行打分（計算廣告價格，並支持適時調整，且能夠拒絕請求來阻止ddos攻擊)→若是檢測正常會開始廣告拍賣，並返回一組廣告給用戶。
   對於欺詐的行爲，咱們依舊會返回廣告，由於若是拒絕返回廣告的話，會讓攻擊者把這個行爲當成訓練信號，去使得他們的攻擊程序更強。咱們能夠經過繼續服務流量，它既能夠收集更多關於攻擊者的數據，也能削弱攻擊者探測過濾系統的能力。
   當用戶點擊廣告以後->會經過adCenter重定向到連接→系統會記錄用戶的行爲→若是用戶產生購物行爲的時候，會執行腳本→會產生數據在日誌服務器
   點擊，轉化等數據會存放在日誌裏面，會在一個小時內被Minerva服務離線處理（Minerva是一個很是大的，1000臺機器組成的集羣，可以保留最完整的用戶的操做行爲。同時他也可以爲廣告主提供詳細的報告。
   在這種架構下，毫秒時間內就能分辨做弊流量，且廣告主可以在一個小時內就能拿到反饋。
   而後有一個工做臺，每小時運行一次，用機器學習的模塊去評估每一個廣告商做弊的機率，工做臺能夠人爲的暫停該廣告商的供應，以便於進行審查客戶帳戶。這個工做臺能夠立案涉嫌欺詐。工做臺的大部分功能是基於規則的，每個決策都是可見的。
   黑名單系統，每15分鐘更新一次名單。
   爬蟲系統，分析流量方的網站，收集數據，分析網站關鍵詞，判斷是否做弊。
   Bot instrumentation，
   Packet sniffers，分析http，獲取記錄。

2. Metrics
   主要是兩種衡量標準，1.auc，acc 2.對整個流程進行評估

7.1 Case Base
每月收集約40份報告，由專家們進行評估調查。報告由機器生產，評估是不是已知的攻擊。

7.2 Traffic Quality Metrics
咱們定義了Q1Q2指標來衡量流量的價值，1.0爲基準，高於1.0表示很差。可是度量很差並不能表明做弊，只是表示流量很差而已。

1. Detection Techniques
   主要是七種檢測規則。
   8.1 Bot Signatures
   每週，工程團隊和支持團隊會檢查新的攻擊類型，。對這些攻擊行爲進行分析，並在必要的時候制定新的規則來對付這些攻擊。會對攻擊寫上特定的標籤，並且流量能夠重播，來衡量本身的規則是否有效。

8.2 Distribution Tests
將流量和預期的分佈進行比較，來確認是不是人爲構造的。

8.3 Scale families and reference curves
在代理ip的處理問題上，好比AOL，移動IP。
咱們會把規模從個體變成一個family。之前個體20以上就是做弊，如今family可能變成200，或者2000。來處理家庭規模的狀況。

8.4 Traps
會設計一些陷阱，來讓bot來跳下去。

8.5 Extremata
用來消除極端的不尋常行爲，這些行爲能夠不用浪費人力，直接捕獲高度的異常行爲。

8.6 Key families
多個特徵，進行檢測。欺詐者能假裝一個特徵，可是不能假裝多個特徵，總會有一些特徵，漏出馬腳。

8.7 Machine-induced decision trees
機器學習。效果有效，可是解釋性差。

9 Results
微軟的反做弊很牛逼，已經持續運行五年了，一直在進步。

9.1 Automated Detection Performance
確實可以攔截欺詐行爲。可是攔截率高，也不必定表明着是欺詐，多是廣告的位置放置不當，致使了意外點擊。
下面是攔截效果，很快的就能攔截掉做弊者。

9.2 Click Fraud Investigation Team
高質量的檢查，使得反做弊小組能夠花更多的時間在真正做弊的上面，而非作一些無心義的排查。

9.3 Traffic Quality
過濾掉做弊以後，使得整個Q1Q2提升，提升了流量方的質量。提升了用戶搜索的相關性，廣告商和流量方的價值也得以體現。

10 Conclusion 反做弊是廣告領域很難的一個方向。不過咱們微軟很厲害哦。