二分類問題中的混淆矩陣、ROC以及AUC評估指標

本篇博文簡要討論機器學習二分類問題中的混淆矩陣、ROC以及AUC評估指標；做爲評價模型的重要參考，三者在模型選擇以及評估中起着指導性做用。

按照按部就班的原則，依次討論混淆矩陣、ROC和AUC：

設定一個機器學習問題情境：給定一些腫瘤患者樣本，構建一個分類模型來預測腫瘤是良性仍是惡性，顯然這是一個二分類問題。
當分類模型選定之後，將其在測試數據集上進行評估，分別能夠獲得如下評估指標：

混淆矩陣

TP表示預測爲良性，真實狀況是良性的樣例數；
FN表示預測爲惡性，真實狀況是良性的樣例數；
FP表示預測爲良性，真實狀況是惡性的樣例數；
TN表示預測爲惡性，真實狀況是惡性的樣例數；
以上四類數據構成混淆矩陣。

ROC曲線

在混淆矩陣的基礎上，進一步地定義兩個參數。

按照下式定義FPR參數

FPR表示，在全部的惡性腫瘤中，被預測成良性的比例。稱爲僞陽性率。僞陽性率告訴咱們，隨機拿一個惡性的腫瘤樣本，有多大機率會將其預測成良性腫瘤。顯然FPR越小越好。

按照下式定義TPR參數

TPR表示，在全部良性腫瘤中，被預測爲良性的比例。稱爲真陽性率。真陽性率告訴咱們，隨機拿一個良性的腫瘤樣本時，有多大機率會將其預測爲良性腫瘤。顯然TPR越大越好。

由上，一個混淆矩陣對應一對（FPR,TPR）

須要明確的是，FPR和TPR是創建在類別明確的預測結果之上的，即分類模型明確地指出待預測樣本的類別。
然而，在二分類問題（0，1）中，通常模型最後的輸出是一個機率值，表示結果是1的機率。此時須要肯定一個閾值，若模型的輸出機率超過閾值，則歸類爲1；若模型的輸出機率低於閾值，則歸類爲0。
不一樣的閾值會致使分類的結果不一樣，也就是混淆矩陣有差，FPR和TPR也就不一樣。
當閾值從0開始慢慢移動到1的過程，就會造成不少對(FPR, TPR)的值，將它們畫在座標系上，就是所謂的ROC曲線了。

AUC

獲得ROC曲線後，就能夠計算曲線下方的面積，計算出來的面積就是AUC值。
通常而言，AUC越大，模型的性能越好。

示例