分類問題的性能度量

性能度量

• 對迴歸模型經常使用MSE

\[E(f;D)=\int_{x\sim D}(f(x)-y)^2p(x)dx \]

• 對分類模型經常使用錯誤率和精度

\[E(f;D)=\int_{x\sim D}I(f(x)=y)p(x)dx\\ acc(f;D)=1-E(f;D) \]

• 在二分類模型中有如下問題

  1. 預測爲正例的樣本中有多少比例是正例

     查準率

     \[precision = \frac{TP}{TP+FP} \]

2. 有多少比例的正例被預測爲正例

   查全率

   \[ recall = \frac{TP}{TP+FN} \]

• 混淆矩陣

  Confusion_matrix

• PR曲線

  橫座標是recall，縱座標是precision

  PR曲線必定程度地反映了，該模型區分正例和負例的能力。

  PR曲線面積小，說明模型對正例和負例的區分能力不足。

• ROC曲線

  橫座標是假陽性率FPR，縱座標是靈敏度TPR（recall）

  \[FPR=\frac{FP}{TN+FP} \]

  ROC曲線下的面積

  \[AUROC=1-\frac{1}{m^-m^+}\sum_{x^+\in D^+}\sum_{x^-\in D^-}{I(f(x^+)<f(x^-))+\frac{1}{2}I(f(x^+)=f(x^-))} \\ =1-l_{rank} \]

  這種形式能夠看出ROC曲線面積可以衡量樣本預測的排序偏差

• PR曲線（或ROC曲線）的繪製

  對樣本的預測輸出排序（例如神經網絡模型輸出是數值），取一個閾值，計算該閾值對應的PR曲線（或ROC曲線）上的一點

一個PR ROC曲線的動態圖示

ROC曲線效果好說明對樣本預測排序的偏差小，而PR曲線效果差說明模型的預測值不能很好地區分正例和負例

ROC曲線效果好可是PR效果差

• ROC曲線效果好，說明能同時保持查全率高和假陽性率低。

  根據定義，當閾值的選取使得查全率（TPR）高時，FN遠小於TP。又由於假陽性率（FPR）低，因此FP遠小於TN。

  說明不多有陽性樣本被判斷成陰性，被判斷成陽性樣本的陰性樣本的數量（FP）遠小於正確判斷爲陰性的樣本的數量（TN）。

• PR曲線效果很差，說明查全率高的時候準確率低。

  根據定義，當閾值的選取使得查全率高的時候，FN遠小於TP，而FP遠大於TP。說明不多有陽性樣本被判斷成陰性，可是有不少陰性樣本被判斷成陽性。

由於是獲得了同一個查全率，以上兩種狀況中取的閾值是同一個，因此\(FN\ll TP \ll FP \ll TN\)。其中FP和TN是陰性樣本，FN和TP是陽性樣本，這說明數據集裏陰性樣本的數量遠大於陽性樣本的數量。

1. 樣本不平衡問題，數據加強，集成學習
2. 改善模型，進而提升AUPR性能