ROC和AUC介紹以及如何計算AUC ---好！！！！

from：https://www.douban.com/note/284051363/?type=like

原帖發表在個人博客： http://alexkong.net/2013/06/introduction-to-auc-and-roc/

ROC（Receiver Operating Characteristic）曲線和AUC常被用來評價一個二值分類器（binary classifier）的優劣，對二者的簡單介紹見[這裏]( http://bubblexc.com/y2011/148/)。這篇博文簡單介紹ROC和AUC的特色，以及更爲深刻地，討論如何做出ROC曲線圖以及計算AUC。

# ROC曲線
須要提早說明的是，咱們這裏只討論二值分類器。對於分類器，或者說分類算法，評價指標主要有precision，recall，F-score[^1]，以及咱們今天要討論的ROC和AUC。下圖是一個ROC曲線的示例[^2]。

正如咱們在這個ROC曲線的示例圖中看到的那樣，ROC曲線的橫座標爲false positive rate（FPR），縱座標爲true positive rate（TPR）。下圖中詳細說明了FPR和TPR是如何定義的。

接下來咱們考慮ROC曲線圖中的四個點和一條線。第一個點，(0,1)，即FPR=0, TPR=1，這意味着FN（false negative）=0，而且FP（false positive）=0。Wow，這是一個完美的分類器，它將全部的樣本都正確分類。第二個點，(1,0)，即FPR=1，TPR=0，相似地分析能夠發現這是一個最糟糕的分類器，由於它成功避開了全部的正確答案。第三個點，(0,0)，即FPR=TPR=0，即FP（false positive）=TP（true positive）=0，能夠發現該分類器預測全部的樣本都爲負樣本（negative）。相似的，第四個點（1,1），分類器實際上預測全部的樣本都爲正樣本。通過以上的分析，咱們能夠斷言，ROC曲線越接近左上角，該分類器的性能越好。

下面考慮ROC曲線圖中的虛線y=x上的點。這條對角線上的點其實表示的是一個採用隨機猜想策略的分類器的結果，例如(0.5,0.5)，表示該分類器隨機對於一半的樣本猜想其爲正樣本，另一半的樣本爲負樣本。

# 如何畫ROC曲線
對於一個特定的分類器和測試數據集，顯然只能獲得一個分類結果，即一組FPR和TPR結果，而要獲得一個曲線，咱們實際上須要一系列FPR和TPR的值，這又是如何獲得的呢？咱們先來看一下[Wikipedia]( http://en.wikipedia.org/wiki/Receiver_operating_characteristic)上對ROC曲線的定義：

> In signal detection theory, a receiver operating characteristic (ROC), or simply ROC curve, is a graphical plot which illustrates the performance of a binary classifier system as its discrimination threshold is varied.

問題在於「as its discrimination threashold is varied」。如何理解這裏的「discrimination threashold」呢？咱們忽略了分類器的一個重要功能「機率輸出」，即表示分類器認爲某個樣本具備多大的機率屬於正樣本（或負樣本）。經過更深刻地瞭解各個分類器的內部機理，咱們總能想辦法獲得一種機率輸出。一般來講，是將一個實數範圍經過某個變換映射到(0,1)區間[^3]。

假如咱們已經獲得了全部樣本的機率輸出（屬於正樣本的機率），如今的問題是如何改變「discrimination threashold」？咱們根據每一個測試樣本屬於正樣本的機率值從大到小排序。下圖是一個示例，圖中共有20個測試樣本，「Class」一欄表示每一個測試樣本真正的標籤（p表示正樣本，n表示負樣本），「Score」表示每一個測試樣本屬於正樣本的機率[^4]。

接下來，咱們從高到低，依次將「Score」值做爲閾值threshold，當測試樣本屬於正樣本的機率大於或等於這個threshold時，咱們認爲它爲正樣本，不然爲負樣本。舉例來講，對於圖中的第4個樣本，其「Score」值爲0.6，那麼樣本1，2，3，4都被認爲是正樣本，由於它們的「Score」值都大於等於0.6，而其餘樣本則都認爲是負樣本。每次選取一個不一樣的threshold，咱們就能夠獲得一組FPR和TPR，即ROC曲線上的一點。這樣一來，咱們一共獲得了20組FPR和TPR的值，將它們畫在ROC曲線的結果以下圖：

當咱們將threshold設置爲1和0時，分別能夠獲得ROC曲線上的(0,0)和(1,1)兩個點。將這些(FPR,TPR)對鏈接起來，就獲得了ROC曲線。當threshold取值越多，ROC曲線越平滑。

其實，咱們並不必定要獲得每一個測試樣本是正樣本的機率值，只要獲得這個分類器對該測試樣本的「評分值」便可（評分值並不必定在(0,1)區間）。評分越高，表示分類器越確定地認爲這個測試樣本是正樣本，並且同時使用各個評分值做爲threshold。我認爲將評分值轉化爲機率更易於理解一些。

# AUC值的計算
AUC（Area Under Curve）被定義爲ROC曲線下的面積，顯然這個面積的數值不會大於1。又因爲ROC曲線通常都處於y=x這條直線的上方，因此AUC的取值範圍在0.5和1之間。使用AUC值做爲評價標準是由於不少時候ROC曲線並不能清晰的說明哪一個分類器的效果更好，而做爲一個數值，對應AUC更大的分類器效果更好。

在瞭解了ROC曲線的構造過程後，編寫代碼實現並非一件困難的事情。相比本身編寫代碼，有時候閱讀其餘人的代碼收穫更多，固然過程也更痛苦些。在此推薦[scikit-learn]( http://scikit-learn.org/stable/)中關於[計算AUC的代碼]( https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/metrics/metrics.py#L479)。

# 爲何使用ROC曲線
既然已經這麼多評價標準，爲何還要使用ROC和AUC呢？由於ROC曲線有個很好的特性：當測試集中的正負樣本的分佈變化的時候，ROC曲線可以保持不變。在實際的數據集中常常會出現類不平衡（class imbalance）現象，即負樣本比正樣本多不少（或者相反），並且測試數據中的正負樣本的分佈也可能隨着時間變化。下圖是ROC曲線和Precision-Recall曲線[^5]的對比：

在上圖中，(a)和(c)爲ROC曲線，(b)和(d)爲Precision-Recall曲線。(a)和(b)展現的是分類其在原始測試集（正負樣本分佈平衡）的結果，(c)和(d)是將測試集中負樣本的數量增長到原來的10倍後，分類器的結果。能夠明顯的看出，ROC曲線基本保持原貌，而Precision-Recall曲線則變化較大。

說明，文中除了第一張圖來自Wikipedia外，其餘的圖都來自論文(Fawcett, 2006)[^6]截圖.
[^1]: 我避免將precision，recall等評價指標翻譯成中文，由於它們可能對應多箇中文解釋，極易產生混淆。
[^2]: 圖片來源： http://en.wikipedia.org/wiki/File:Roccurves.png
[^3]: 這種映射不必定都是可靠的，即你不必定真的獲得了某個樣本是正樣本的機率。
[^4]: 注意這裏使用了「Score」，而不是機率，咱們暫且能夠認爲「Score」值就是是正樣本的機率。
[^5]: Davis, J., & Goadrich, M. (2006, June). The relationship between Precision-Recall and ROC curves. In Proceedings of the 23rd international conference on Machine learning (pp. 233-240). ACM.
[^6]: Fawcett, T. (2006). An introduction to ROC analysis. Pattern recognition letters, 27(8), 861-874.


引用及其餘連接：
* 維基百科中對ROC的介紹: http://en.wikipedia.org/wiki/Receiver_operating_characteristic
* ROC曲線及AUC評價指標 by 冒泡的崔： http://bubblexc.com/y2011/148/