異常值檢測 —— MAD（median absolute deviation）

MAD 定義爲，一元序列 Xi $X_i$ 同其中位數誤差的絕對值的中位數（deviation，誤差自己有正有負）；

MAD=median(|Xi−median(X)|) $$\text{MAD=median}\left(|X_i-\text{median(X)}|\right)$$

1. MAD 用於異常點的檢測

假定數據服從正態分佈，咱們讓異常點（outliers）落在兩側的 50% 的面積裏，讓正常值落在中間的 50% 的區域裏：

P(|X−μ|≤MAD)=P(|X−μ|σ≤MADσ)=P(Z≤MADσ)=1/2 $$P(|X-\mu |\le MAD)=P(\frac{|X-\mu |}{\sigma }\le \frac{MAD}{\sigma })=P(Z\le \frac{MAD}{\sigma })=1/2$$

其中 P(Z≤MADσ)=Φ(MADσ)−Φ(−MADσ)=1/2 $P(Z\le \frac{MAD}{\sigma })=\mathrm{\Phi }(\frac{MAD}{\sigma })-\mathrm{\Phi }(-\frac{MAD}{\sigma })=1/2$，又由 Φ(−a)=1−Φ(a) $\mathrm{\Phi }(-a)=1-\mathrm{\Phi }(a)$，可 Φ(MAD/σ)=3/4 $\mathrm{\Phi }(MAD/\sigma )=3/4$ ⇒ MAD/σ=Φ−1(3/4) $MAD/\sigma ={\mathrm{\Phi }}^{-1}(3/4)$，查表可知， MAD/σ $MAD/\sigma$=0.6749。

from scipy.stats import norm

def mad_based_outlier(points, thresh=3.5):
    if type(points) is list:
        points = np.asarray(points)
    if len(points.shape) == 1:
        points = points[:, None]
    med = np.median(points, axis=0)
    abs_dev = np.absolute(points - med)
    med_abs_dev = np.median(abs_dev)

    mod_z_score = norm.ppf(0.75) * abs_dev / med_abs_dev
    return mod_z_score > thresh

2. MAD 與基於分位數方法的對比

MAD 的方法相對於分位數方法的一大優點即在於 MAD 方法對樣本大小是不敏感也便是穩定的魯棒的一種評價指標。

def percentile_based_outlier(data, threshold=95):
    diff = (100 - threshold) / 2.0
    minval, maxval = np.percentile(data, [diff, 100 - diff])
    return (data < minval) | (data > maxval)

---

Pythonic way of detecting outliers in one dimensional observation data