【機器學習筆記】：一文讓你完全記住什麼是ROC/AUC（看不懂你來找我）

ROC/AUC做爲機器學習的評估指標很是重要，也是面試中常常出現的問題（80%都會問到）。其實，理解它並非很是難，可是好多朋友都遇到了一個相同的問題，那就是：每次看書的時候都很明白，但回過頭就忘了，常常容易將概念弄混。還有的朋友面試以前背下來了，可是一緊張大腦一片空白全忘了，致使回答的不好。

我在以前的面試過程當中也遇到過相似的問題，個人面試經驗是：通常筆試題遇到選擇題基本都會考這個率，那個率，或者給一個場景讓你選用哪一個。面試過程當中也被問過不少次，好比什麼是AUC/ROC？橫軸縱軸都表明什麼？有什麼優勢？爲何要使用它？

我記得在我第一次回答的時候，我將準確率，精準率，召回率等概念混淆了，最後一團亂。回去之後我從頭至尾梳理了一遍全部相關概念，後面的面試基本都回答地很好。如今想將本身的一些理解分享給你們，但願讀完本篇能夠完全記住ROC/AUC的概念。

▌什麼是性能度量？

咱們都知道機器學習要建模，可是對於模型性能的好壞（即模型的泛化能力），咱們並不知道是怎樣的，極可能這個模型就是一個差的模型，泛化能力弱，對測試集不能很好的預測或分類。那麼如何知道這個模型是好是壞呢？咱們必須有個評判的標準。爲了瞭解模型的泛化能力，咱們須要用某個指標來衡量，這就是性能度量的意義。有了一個指標，咱們就能夠對比不一樣模型了，從而知道哪一個模型相對好，那個模型相對差，並經過這個指標來進一步調參逐步優化咱們的模型。

固然，對於分類和迴歸兩類監督學習，分別有各自的評判標準。本篇咱們主要討論與分類相關的一些指標，由於AUC/ROC就是用於分類的性能度量標準。

▌混淆矩陣，準確率，精準率，召回率

1. 混淆矩陣

在介紹各個率以前，先來介紹一下混淆矩陣。若是咱們用的是個二分類的模型，那麼把預測狀況與實際狀況的全部結果兩兩混合，結果就會出現如下4種狀況，就組成了混淆矩陣。

因爲1和0是數字，閱讀性很差，因此咱們分別用P和N表示1和0兩種結果。變換以後爲PP，PN，NP，NN，閱讀性也不好，我並不能輕易地看出來預測的正確性與否。所以，爲了可以更清楚地分辨各類預測狀況是否正確，咱們將其中一個符號修改成T和F，以便於分辨出結果。

P（Positive）：表明1

N（Negative）：表明0

T（True）：表明預測正確

F（False）：表明錯誤

按照上面的字符表示從新分配矩陣，混淆矩陣就變成了下面這樣：

將這種表示方法總結以下，可分爲兩部分：

所以對於這種表示方法能夠這麼簡單的理解：先看 ①預測結果（P/N），再根據②實際表現對比預測結果，給出判斷結果（T/F）。按這個順序理解，這四種狀況就很好記住了。

TP：預測爲1，預測正確，即實際1

FP：預測爲1，預測錯誤，即實際0

FN：預測爲0，預測錯確，即實際1

TN：預測爲0，預測正確即，實際0

2. 準確率

既然是個分類指標，咱們能夠很天然的想到準確率，準確率的定義是預測正確的結果佔總樣本的百分比，其公式以下：

準確率=(TP+TN)/(TP+TN+FP+FN)

雖然準確率能夠判斷總的正確率，可是在樣本不平衡的狀況下，並不能做爲很好的指標來衡量結果。舉個簡單的例子，好比在一個總樣本中，正樣本佔90%，負樣本佔10%，樣本是嚴重不平衡的。對於這種狀況，咱們只須要將所有樣本預測爲正樣本便可獲得90%的高準確率，但實際上咱們並無很用心的分類，只是隨便無腦一分而已。這就說明了：因爲樣本不平衡的問題，致使了獲得的高準確率結果含有很大的水分。即若是樣本不平衡，準確率就會失效。

正由於如此，也就衍生出了其它兩種指標：精準率和召回率。

3. 精準率

精準率（Precision）又叫查準率，它是針對預測結果而言的，它的含義是在全部被預測爲正的樣本中實際爲正的樣本的機率，意思就是在預測爲正樣本的結果中，咱們有多少把握能夠預測正確，其公式以下：

精準率=TP/(TP+FP)

精準率和準確率看上去有些相似，可是徹底不一樣的兩個概念。精準率表明對正樣本結果中的預測準確程度，而準確率則表明總體的預測準確程度，既包括正樣本，也包括負樣本。

4. 召回率

召回率（Recall）又叫查全率，它是針對原樣本而言的，它的含義是在實際爲正的樣本中被預測爲正樣本的機率，其公式以下：

精準率=TP/(TP+FN)

召回率的應用場景：好比拿網貸違約率爲例，相對好用戶，咱們更關心壞用戶，不能錯放過任何一個壞用戶。由於若是咱們過多的將壞用戶當成好用戶，這樣後續可能發生的違約金額會遠超過好用戶償還的借貸利息金額，形成嚴重償失。召回率越高，表明實際壞用戶被預測出來的機率越高，它的含義相似：寧肯錯殺一千，毫不放過一個。

5. 精準率和召回率的關係，F1分數

經過上面的公式，咱們發現：精準率和召回率的分子是相同，都是TP，但分母是不一樣的，一個是（TP+FP），一個是（TP+FN）。二者的關係能夠用一個P-R圖來展現：

如何理解P-R（查準率-查全率）這條曲線？

有的朋友疑惑：這條曲線是根據什麼變化的？爲何是這個形狀的曲線？其實這要從排序型模型提及。拿邏輯迴歸舉例，邏輯迴歸的輸出是一個0到1之間的機率數字，所以，若是咱們想要根據這個機率判斷用戶好壞的話，咱們就必須定義一個閾值。一般來說，邏輯迴歸的機率越大說明越接近1，也就能夠說他是壞用戶的可能性更大。好比，咱們定義了閾值爲0.5，即機率小於0.5的咱們都認爲是好用戶，而大於0.5都認爲是壞用戶。所以，對於閾值爲0.5的狀況下，咱們能夠獲得相應的一對查準率和查全率。

但問題是：這個閾值是咱們隨便定義的，咱們並不知道這個閾值是否符合咱們的要求。所以，爲了找到一個最合適的閾值知足咱們的要求，咱們就必須遍歷0到1之間全部的閾值，而每一個閾值下都對應着一對查準率和查全率，從而咱們就獲得了這條曲線。

有的朋友又問了：如何找到最好的閾值點呢？首先，須要說明的是咱們對於這兩個指標的要求：咱們但願查準率和查全率同時都很是高。但實際上這兩個指標是一對矛盾體，沒法作到雙高。圖中明顯看到，若是其中一個很是高，另外一個確定會很是低。選取合適的閾值點要根據實際需求，好比咱們想要高的查全率，那麼咱們就會犧牲一些查準率，在保證查全率最高的狀況下，查準率也不那麼低。

F1分數

但一般，若是想要找到兩者之間的一個平衡點，咱們就須要一個新的指標：F1分數。F1分數同時考慮了查準率和查全率，讓兩者同時達到最高，取一個平衡。F1分數的公式爲 = 2*查準率*查全率 / (查準率 + 查全率)。咱們在圖中看到的平衡點就是F1分數得來的結果。

▌ROC/AUC的概念

1. 靈敏度，特異度，真正率，假正率

在正式介紹ROC/AUC以前，咱們還要再介紹兩個指標，這兩個指標的選擇也正是ROC和AUC能夠無視樣本不平衡的緣由。這兩個指標分別是：靈敏度和（1-特異度），也叫作真正率（TPR）和假正率（FPR）。

靈敏度（Sensitivity） = TP/(TP+FN)

特異度（Specificity） = TN/(FP+TN)

• 其實咱們能夠發現靈敏度和召回率是如出一轍的，只是名字換了而已。

• 因爲咱們比較關心正樣本，因此須要查看有多少負樣本被錯誤地預測爲正樣本，因此使用（1-特異度），而不是特異度。

真正率（TPR） = 靈敏度 = TP/(TP+FN)

假正率（FPR） = 1- 特異度 = FP/(FP+TN)

下面是真正率和假正率的示意，咱們發現TPR和FPR分別是基於實際表現1和0出發的，也就是說它們分別在實際的正樣本和負樣本中來觀察相關機率問題。正由於如此，因此不管樣本是否平衡，都不會被影響。仍是拿以前的例子，總樣本中，90%是正樣本，10%是負樣本。咱們知道用準確率是有水分的，可是用TPR和FPR不同。這裏，TPR只關注90%正樣本中有多少是被真正覆蓋的，而與那10%毫無關係，同理，FPR只關注10%負樣本中有多少是被錯誤覆蓋的，也與那90%毫無關係，因此能夠看出：若是咱們從實際表現的各個結果角度出發，就能夠避免樣本不平衡的問題了，這也是爲何選用TPR和FPR做爲ROC/AUC的指標的緣由。

或者咱們也能夠從另外一個角度考慮：條件機率。咱們假設X爲預測值，Y爲真實值。那麼就能夠將這些指標按條件機率表示：

精準率 = P（Y=1 | X=1）

召回率 = 靈敏度 = P（X=1 | Y=1）

特異度 = P（X=0 | Y=0）

從上面三個公式看到：若是咱們先以實際結果爲條件（召回率，特異度），那麼就只需考慮一種樣本，而先以預測值爲條件（精準率），那麼咱們須要同時考慮正樣本和負樣本。因此先以實際結果爲條件的指標都不受樣本不平衡的影響，相反以預測結果爲條件的就會受到影響。

2. ROC（接受者操做特徵曲線）

ROC（Receiver Operating Characteristic）曲線，又稱接受者操做特徵曲線。該曲線最先應用於雷達信號檢測領域，用於區分信號與噪聲。後來人們將其用於評價模型的預測能力，ROC曲線是基於混淆矩陣得出的。

ROC曲線中的主要兩個指標就是真正率和假正率，上面也解釋了這麼選擇的好處所在。其中橫座標爲假正率（FPR），縱座標爲真正率（TPR），下面就是一個標準的ROC曲線圖。

ROC曲線的閾值問題

與前面的P-R曲線相似，ROC曲線也是經過遍歷全部閾值來繪製整條曲線的。若是咱們不斷的遍歷全部閾值，預測的正樣本和負樣本是在不斷變化的，相應的在ROC曲線圖中也會沿着曲線滑動。

如何判斷ROC曲線的好壞？

改變閾值只是不斷地改變預測的正負樣本數，即TPR和FPR，可是曲線自己是不會變的。那麼如何判斷一個模型的ROC曲線是好的呢？這個仍是要回歸到咱們的目的：FPR表示模型虛報的響應程度，而TPR表示模型預測響應的覆蓋程度。咱們所但願的固然是：虛報的越少越好，覆蓋的越多越好。因此總結一下就是TPR越高，同時FPR越低（即ROC曲線越陡），那麼模型的性能就越好。參考以下動態圖進行理解。

ROC曲線無視樣本不平衡

前面已經對ROC曲線爲何能夠無視樣本不平衡作了解釋，下面咱們用動態圖的形式再次展現一下它是如何工做的。咱們發現：不管紅藍色樣本比例如何改變，ROC曲線都沒有影響。

3. AUC（曲線下的面積）

爲了計算 ROC 曲線上的點，咱們可使用不一樣的分類閾值屢次評估邏輯迴歸模型，但這樣作效率很是低。幸運的是，有一種基於排序的高效算法能夠爲咱們提供此類信息，這種算法稱爲曲線下面積（Area Under Curve）。

比較有意思的是，若是咱們鏈接對角線，它的面積正好是0.5。對角線的實際含義是：隨機判斷響應與不響應，正負樣本覆蓋率應該都是50%，表示隨機效果。ROC曲線越陡越好，因此理想值就是1，一個正方形，而最差的隨機判斷都有0.5，因此通常AUC的值是介於0.5到1之間的。

AUC的通常判斷標準

0.5 - 0.7：效果較低，但用於預測股票已經很不錯了

0.7 - 0.85：效果通常

0.85 - 0.95：效果很好

0.95 - 1：效果很是好，但通常不太可能

AUC的物理意義

曲線下面積對全部可能的分類閾值的效果進行綜合衡量。曲線下面積的一種解讀方式是看做模型將某個隨機正類別樣本排列在某個隨機負類別樣本之上的機率。如下面的樣本爲例，邏輯迴歸預測從左到右以升序排列：

▌ROC/AUC的Python實現

Python中咱們能夠調用sklearn機器學習庫的metrics進行ROC和AUC的實現，簡單的代碼實現部分以下：

from sklearn import metrics
from sklearn.metrics import auc 
import numpy as np
y = np.array([1, 1, 2, 2])  
scores = np.array([0.1, 0.4, 0.35, 0.8])  
fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2)
metrics.auc(fpr, tpr) 

0.75

以上就是全部關於ROC和AUC的講解和實現，auc面積是0.75。現在的我再去面試，最但願面試官問我這個問題了，但願看過的朋友也能夠完全理解和記住ROC/AUC，以及各類指標率的概念。

參考：

1. 機器學習，周志華

2. Python數據科學技術詳解與商業實踐，常國珍

3. https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc

4. https://lukeoakdenrayner.wordpress.com/2018/01/07/the-philosophical-argument-for-using-roc-curves/