異常檢測的N種方法，阿里工程師都盤出來了

阿里妹導讀：互聯網黑產盛行，其做弊手段層出不窮，致使廣告效果下降，APP推廣成本暴增。精準識別做弊是互聯網公司和廣告主的殷切指望。今天咱們將從時間序列、統計、距離、線性方法、分佈、樹、圖、行爲序列、有監督機器學習和深度學習模型等多個角度探討異常檢測。

背景

異常點檢測(Outlier detection)，又稱爲離羣點檢測，是找出與預期對象的行爲差別較大的對象的一個檢測過程。這些被檢測出的對象被稱爲異常點或者離羣點。異常點檢測在生產生活中有着普遍應用，好比信用卡反欺詐、工業損毀檢測、廣告點擊反做弊等。

異常點（outlier）是一個數據對象，它明顯不一樣於其餘的數據對象。以下圖1所示，N一、N2區域內的點是正常數據。而離N一、N2較遠的O一、O二、O3區域內的點是異常點。

圖1.異常點示例

異常檢測的一大難點是缺乏ground truth。常見的方法是先用無監督方法挖掘異常樣本，再用有監督模型融合多個特徵挖掘更多做弊。

近期使用多種算法挖掘異常點，下面從不一樣視角介紹異常檢測算法的原理及其適用場景，考慮到業務特殊性，本文不涉及特徵細節。

1.時間序列

1.1 移動平均（Moving Average，MA）

移動平均是一種分析時間序列的經常使用工具，它可過濾高頻噪聲和檢測異常點。根據計算方法的不一樣，經常使用的移動平均算法包括簡單移動平均、加權移動平均、指數移動平均。假設移動平均的時間窗口爲T，有一個時間序列：

1.1.1 簡單移動平均（Simple Moving Average,SMA）

從上面的公式容易看出能夠用歷史的值的均值做爲當前值的預測值，在序列取值隨時間波動較小的場景中，上述移動均值與該時刻的真實值的差值超過必定閾值則斷定該時間的值異常。

適用於：

a.對噪聲數據進行平滑處理，即用移動均值替代當前時刻取值以過濾噪聲；

b.預測將來的取值。

1.1.2 加權移動平均（Weighted Moving Average, WMA）

因爲簡單移動平均對窗口內全部的數據點都給予相同的權重，對近期的最新數據不夠敏感，預測值存在滯後性。按着這個思路延伸，天然的想法就是在計算移動平均時，給近期的數據更高的權重，而給窗口內較遠的數據更低的權重，以更快的捕捉近期的變化。由此便獲得了加權移動平均和指數移動平均。

加權移動平均比簡單移動平均對近期的變化更加敏感，加權移動平均的滯後性小於簡單移動平均。但因爲僅採用線性權重衰減，加權移動平均仍然存在必定的滯後性。

1.1.3 指數移動平均（Exponential Moving Average, EMA）

指數移動平均（Exponential Moving Average, EMA）和加權移動平均相似，但不一樣之處是各數值的加權按指數遞減，而非線性遞減。此外，在指數衰減中，不管往前看多遠的數據，該期數據的係數都不會衰減到 0，而僅僅是向 0 逼近。所以，指數移動平均其實是一個無窮級數，即不管多久遠的數據都會在計算當期的指數移動平均數值時，起到必定的做用，只不過離當前太遠的數據的權重很是低。在實際應用中，能夠按以下方法獲得t時刻的指數移動平均：

其中表示權重的衰減程度，取值在0和1之間。越大，過去的觀測值衰減得越快。

1.2 同比和環比

圖2.同比和環比

同比和環比計算公式如圖2所示。適合數據呈週期性規律的場景中。如：1.監控APP的DAU的環比和同比，以及時發現DAU上漲或者下跌；2.監控實時廣告點擊、消耗的環比和同比，以及時發現變化。當上述比值超過必定閾值（閾值參考第10部分）則斷定出現異常。

1.3 時序指標異常檢測(STL+GESD)

STL是一種單維度時間指標異常檢測算法。大體思路是：

(1)先將指標作STL時序分解，獲得seasonal，trend，residual成分，如圖3所示；
(2)用GESD (generalized extreme studentized deviate)算法對trend+residual成分進行異常檢測；
(3)爲加強對異常點的魯棒性，將GESD算法中的mean,std等統計量用median, MAD(median absolute deviation)替換；
(4)異常分輸出：abnorm_score = (value - median)/MAD, value爲當前值，median爲序列的中位數。負分表示異常下跌，正分表示異常上升。

圖3.STL分解示例

2.統計

2.1 單特徵且符合高斯分佈

若是變量x服從高斯分佈：，則其機率密度函數爲：

咱們可使用已有的樣本數據來預測整體中的，計算方法以下：

2.2 多個不相關特徵且均符合高斯分佈

假設n維的數據集合形如：

且每個變量均符合高斯分佈，那麼能夠計算每一個維度的均值和方差

，具體來講，對於，能夠計算：

若是有一個新的數據，能夠計算機率以下：

2.3 多個特徵相關，且符合多元高斯分佈

2.4 馬氏距離(Mahalanobis distance)

對於一個多維列向量的數據集合D，假設是均值向量，那麼對於數據集D中的任意對象，從到的馬氏距離是：

其中是協方差矩陣。能夠對數值進行排序，若是數值過大，那麼就能夠認爲點是離羣點。

2.5 箱線圖

箱線圖算法不須要數據服從特定分佈，好比數據分佈不符合高斯分佈時可使用該方法。該方法須要先計算第一四分位數Q1（25%）和第三四分位數Q3（75%）。令IQR=Q3-Q1，而後算出異常值邊界點Q3+λIQR和Q1- λIQR，一般λ取1.5（相似於正態分佈中的，以下圖4所示：

圖4.箱線圖算法示意圖

3.距離

3.一、基於角度的異常點檢測

圖5.點集和角度

如上圖5所示，如今有三個點X，Y，Z，和兩個向量，若是對任意不一樣的點Y，Z，角度變化都較小，則點X是異常點。經過餘弦夾角公式易得角度：

D是點集，則對於任意不一樣的點，點X的全部角度的方差爲：

異常點的上述方差較小。該算法的時間複雜度是，適合數據量N較小的場景。

3.2 基於KNN的異常點檢測

D是點集，則對於任意點，計算其K近鄰的距離之和Dist(K,X)。Dist(K,X)越大的點越異常。時間複雜度是，其中N是數據量的大小。

4.線性方法（矩陣分解和PCA降維）

基於矩陣分解的異常點檢測方法的主要思想是利用主成分分析（PCA）去尋找那些違反了數據之間相關性的異常點。爲了找到這些異常點，基於主成分分析的算法會把數據從原始空間投影到主成分空間，而後再從主成分空間投影回原始空間。對於大多數的數據而言，若是隻使用第一主成分來進行投影和重構，重構以後的偏差是較小的；可是對於異常點而言，重構以後的偏差相對較大。這是由於第一主成分反映了正常點的方差，最後一個主成分反映了異常點的方差。

假設X是一個p維的數據集合，有N個樣本，它的協方差矩陣是。那麼協方差矩陣就能夠分解爲：

其中P是一個維正交矩陣，它的每一列都是的特徵向量。D是一個維對角矩陣，包含了特徵值。在圖形上，一個特徵向量能夠當作2維平面上的一條線，或者高維空間裏面的一個平面。特徵向量所對應的特徵值反映了這批數據在這個方向上的拉伸程度。一般狀況下，將特徵值矩陣D中的特徵值從大到小的排序，特徵向量矩陣P的每一列也進行相應的調整。

數據集X在主成分空間的投影能夠寫成Y=XP，注意能夠只在部分的維度上作投影，使用top-j的主成分投影以後的矩陣爲：。

其中是矩陣P的前j列，也就是說是一個維的矩陣。是矩陣Y的前j列，是一個維的矩陣。按一樣的方式從主成分空間映射到原始空間，重構以後的數據集合是 。

其中是使用top-j的主成分重構以後的數據集，是一個維的矩陣。如圖6所示：

圖6.矩陣變換示意圖

定義數據
的異常值分爲：

其中表示的是top-j主成分佔全部主成分的比例，特徵值是按照從大到小的順序排列的。所以是遞增的，這就意味着j越大，越多的方差就會被算到中，由於是從 1 到 j 的求和。在這個定義下，誤差最大的第一個主成分得到最小的權重，誤差最小的最後一個主成分得到了最大的權重1。根據 PCA 的性質，異常點在最後一個主成分上有着較大的誤差，所以會有更大的異常分。

5.分佈

即對比基準流量和待檢測流量的某個特徵的分佈。

5.1 相對熵（KL散度）

相對熵（KL散度）能夠衡量兩個隨機分佈之間的距離，當兩個隨機分佈相同時，它們的相對熵爲零，當兩個隨機分佈的差異增大時，它們的相對熵也會增大。因此相對熵能夠用於比較兩個分佈的類似度。設是兩個機率分佈的取值，則對應相對熵爲。

5.2 卡方檢驗

卡方檢驗經過檢驗統計量來比較指望結果和實際結果之間的差異，而後得出實際結果發生的機率。其中O表明觀察值，E表明指望值。這個檢驗統計量提供了一種指望值與觀察值之間差別的度量辦法。最後根據設定的顯著性水平查找卡方几率表來斷定。

6.樹（孤立森林）

圖7.iForest檢測結果

孤立森林（Isolation Forest）假設咱們用一個隨機超平面來切割數據空間, 每切一次即可以生成兩個子空間。接着繼續用一個隨機超平面來切割每一個子空間，循環下去，直到每一個子空間裏面只有一個數據點爲止。那些密度很高的簇是須要被切不少次才能讓子空間中只有一個數據點，可是那些密度很低的點的子空間則很快就被切割成只有一個數據點。如圖7所示，黑色的點是異常點，被切幾回就停到一個子空間；白色點爲正常點，白色點聚焦在一個簇中。孤立森林檢測到的異常邊界爲圖7中紅色線條，它能正確地檢測到全部黑色異常點。

如圖8所示，用iForest切割4個數據，b和c的高度爲3，a的高度爲2，d的高度爲1，d最早被孤立，它最有可能異常。

圖8.iForest切割過程

7.圖

7.1 最大聯通圖

在無向圖G中，若從頂點A到頂點B有路徑相連，則稱A和B是連通的；在圖G中存在若干子圖，其中每一個子圖中全部頂點之間都是連通的，但不一樣子圖間不存在頂點連通，那麼稱圖G的這些子圖爲最大連通子圖。

如圖9所示，device是設備id，mbr是會員id，節點之間有邊表示設備上有對應的會員登陸過，容易看出device_一、device_二、device_三、device_4是同人，能夠根據場景用於判斷做弊，經常使用於挖掘團伙做弊。

圖9.最大聯通圖結果

最大聯通圖的前提條件是每條邊必須置信。適用場景：找全部連通關係。當數據中存在不太置信的邊時，須要先剔除髒數據，不然會影響最大聯通圖的效果。

7.2 標籤傳播聚類

標籤傳播圖聚類算法是根據圖的拓撲結構，進行子圖的劃分，使得子圖內部節點的鏈接較多，子圖之間的鏈接較少。標籤傳播算法的基本思路是節點的標籤依賴其鄰居節點的標籤信息，影響程度由節點類似度決定，經過傳播迭代更新達到穩定。圖10中的節點經標籤傳播聚類後將得2個子圖，其中節點一、二、三、4屬於一個子圖，節點五、六、七、8屬於一個子圖。

圖10.標籤傳播聚類算法的圖結構

標籤傳播聚類的子圖間能夠有少許鏈接。適用場景：節點之間「高內聚低耦合」。圖10用最大聯通圖得1個子圖，用標籤傳播聚類得2個子圖。

8.行爲序列（馬爾科夫鏈）

如圖11所示，用戶在搜索引擎上有5個行爲狀態：頁面請求（P），搜索（S），天然搜索結果（W），廣告點擊（O），翻頁（N）。狀態之間有轉移機率，由若干行爲狀態組成的一條鏈能夠看作一條馬爾科夫鏈。

圖11.用戶行爲狀態圖

統計正常行爲序列中任意兩個相鄰的狀態，而後計算每一個狀態轉移到其餘任意狀態的機率，得狀態轉移矩陣。針對每個待檢測用戶行爲序列，易得該序列的機率值，機率值越大，越像正經常使用戶行爲。

9.有監督模型

上述方法都是無監督方法，實現和理解相對簡單。可是因爲部分方法每次使用較少的特徵，爲了全方位攔截做弊，須要維護較多策略；另外上述部分方法組合多特徵的效果取決於人工經驗。而有監督模型能自動組合較多特徵，具有更強的泛化能力。

9.1 機器學習模型GBDT

樣本：使用前面的無監督方法挖掘的做弊樣本做爲訓練樣本。若是做弊樣本仍然較少，用SMOTE或者GAN生成做弊樣本。而後訓練GBDT模型，用轉化數據評估模型的效果。

9.2 深度學習模型Wide&Deep

Wide&Deep經過分別提取wide特徵和deep特徵，再將其融合在一塊兒訓練，模型結構如圖12所示。wide是指高維特徵和特徵組合的LR。LR高效、容易規模化（scalable）、可解釋性強。出現的特徵組合若是被不斷增強，對模型的判斷起到記憶做用。可是相反的泛化性弱。

deep則是利用神經網絡自由組合映射特徵，泛化性強。deep部分本質上挖掘一些樣本特徵的更通用的特色而後用於判斷，可是有過分泛化的風險。

算法經過兩種特徵的組合去平衡記憶（memorization）和泛化（ generalization）。

爲了進一步增長模型的泛化能力，可使用前面的無監督方法挖掘的做弊樣本做爲訓練樣本，訓練Wide&Deep模型識別做弊。

圖12.Wide&Deep模型

10.其餘問題

10.1 經常使用選擇閾值的思路

上述各類方法都須要計算異常閾值，能夠用下述思路先選閾值，再用轉化數據驗證該閾值的合理性。

a.無監督方法：使用分位點定閾值、找歷史數據的分佈曲線的拐點；

b.有監督模型：看驗證集的準召曲線

10.2 非高斯分佈轉高斯分佈

有些特徵不符合高斯分佈，那麼能夠經過一些函數變換使其符合高斯分佈，以便於使用上述統計方法。經常使用的變換函數：，其中c爲非負常數；，c爲0-1之間的一個分數。

原文連接 本文爲雲棲社區原創內容，未經容許不得轉載。