模型評估——ROC、KS

不管是利用模型對信用申請人進行違約識別，仍是對授信申請人進行逾期識別……在各類各樣的統計建模中，永遠必不可少的一步是對模型的評價，這樣咱們就能夠根據模型評價指標的取值高低，來決定選取哪一個模型。本篇主要講述一下ROC曲線和K-S曲線的區別和聯繫。

以二分類問題爲例，模型輸出會出現四種狀況：

　　　　

咱們最關心的結果是正確預測的機率和誤判率，常見的指標有：

（1）True Positive Rate，簡稱爲TPR，計算公式爲TPR=TP/(TP+FN)——全部真實的「1」中，有多少被模型成功選出；

（2）False Positive Rate，簡稱爲FPR，計算公式爲FPR=FP/(FP+TN)——全部真實的「0」中，有多少被模型誤判爲1了；

（3）Precision=TP/(TP+FP)，或2TP/((TP+FN)+(TP+FP))。

其中最經常使用的是TPR和FPR。最理想的模型，固然是TPR儘可能高而FPR儘可能低啦，然而任何模型在提升正確預測機率的同時，也會難以免地增長誤判率。聽起來有點抽象，好在有ROC曲線很是形象地表達了兩者之間的關係。

對於一個二分類模型，輸出的最初結果是連續的；假設已經肯定一個閥值，那麼最初結果大於閥值時，則輸出最終結果爲1，小於閥值則輸出爲0。假如閥值取值爲0.6，那麼FPR和TPR就能夠計算出此時的取值，標誌爲一個點，記爲(FPR1,TPR1)；若是閥值取值爲0.5，同理就能夠計算出另外一個點，記爲(FPR2,TPR2)。設定不一樣的閥值，就能夠計算不一樣的點(FPR,TPR)，

咱們以FPR爲橫座標,TPR爲縱座標，把不一樣的點連成曲線，就獲得了ROC曲線。理論上ROC就是這麼畫出來的，那麼問題來了，閥值如何肯定？

以Logistic模型爲例，模型輸出的結果實際上是機率，而後咱們經過設定閥值，把機率轉化爲最終的輸出結果0和1。首先出如今咱們腦中的直觀想法，就是把(0,1)區間進行等分，好比，等分爲十個區間（其實分紅多少份均可以，你們能夠自由發揮），那麼就能夠分別以0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9爲閾值，首先計算出根據閥值斷定出的0和1有多少，以及斷定爲1真實爲1和判斷爲1真實爲0的有多少；而後計算出不一樣的(FPR,TPR)值；最後把點之間進行連線，畫出的曲線便是ROC曲線。

下面，咱們以某商業銀行某時間段內某支行客戶的逾期相關數據爲例詳細說明：P表明此支行的某客戶的逾期率（暫且定義爲在此時間段內某客戶的逾期可能性），Y表明是否爲高逾期客戶，X是與逾期有關的相關指標，好比行業、企業規模、客戶的五級分類等等。

然而，當把這個直觀的想法對案例數據付諸實施的時候，咱們發現計算出的機率值都落在[0.0092,0.578]區間範圍內。這種狀況下，若是還用上面的「直觀想法」（即仍然假定P小於閾值時，斷定爲0），那麼設定閾值爲0.1到0.5時，可以計算出不一樣的(FPR,TPR)值；而將閾值取到0.6到0.9時，模型的斷定結果爲全部的樣本就都是0了……so sad！計算出的(FPR,TPR)值都是(0,0)，ROC曲線的點由11個變成了6個…….

看來實踐是檢驗真理的惟一標準！面對這個特殊案例，咱們的直觀想法確定須要改進。最終，咱們的實現方法是：

1. 把(0,1)區間升級爲(min(P),max(P))；

2. 取值(min(P),max(P))/10，設定閥值爲(min(P),max(P))*k/10，其中k=1,2,3,…,9；

3. 根據不一樣的閥值，計算出不一樣的(FPR,TPR)值。

這時候再畫出ROC曲線，就避免了上面的問題。

以上思路講完後，可能有的小夥伴要問了：這樣在寫代碼實現的過程當中，每次都要和閥值進行作比較，計算量比較大，不如先對樣本計算出的P值從小到大排序（固然從大到小也能夠），取前百分之幾（好比10%）處的值爲閥值，那麼排序以後前百分之幾（好比前10%）的斷定爲0，其餘則斷定爲1。這樣計算量就少了不少啦！

因而，咱們繼續改進閥值的設置，首先把Logistic模型輸出的機率從小到大排序，而後取10%的值（也就是機率值）做爲閥值，同理把10%*k（k=1,2,3,…,9）處的值做爲閥值，計算出不一樣的(FPR,TPR)值，就能夠畫出ROC曲線啦。

但是，從小到大排序以後，每次取前百分之幾處的值爲閥值呢？總共分紅10份仍是100仍是1000份呢？有選擇困難症的小夥伴又糾結了，告訴你個辦法，別糾結，有多少個模型輸出的機率值就分紅多少份，再也不考慮百分之幾！好比Logistic模型輸出的機率有214個，那麼咱們把214個目標變量從小到大進行排序，而後分別以這214個的機率值爲閥值，能夠計算出214個不一樣的(FPR,TPR)值，也能夠畫出ROC曲線。

ROC曲線畫好後，就要發揮用處！對於一個模型一組參數能夠畫出一條ROC曲線，此時最優的閥值是什麼呢？TPR和FPR是正相關的，也就是說，正確斷定出1的數量增長時，必然要伴隨着代價：誤判爲1的FP也增長。

從ROC曲線上也能夠反映出這種變化，從ΔTPR>ΔFPR到ΔTPR<ΔFPR，最理想的閥值是ΔTPR=ΔFPR時。可是在實際應用中，咱們不多可以給出ROC曲線的函數表達式，這時的解決方法包括：

（1）給出ROC曲線的擬合函數表達式，而後計算出最優的閥值，這個目前經過軟件實現難度不大：如何給出最優擬合函數，計算數學上有不少方法；

（2）計算出ΔTPR≈ΔFPR的點即爲最優的閥值；

（3）從業務上給出最優的閥值。

對於一個模型多個參數的狀況，就能夠畫出多條ROC曲線，此時哪組參數是最優的呢？咱們能夠結合AUC指標，哪組參數的AUC值越高，說明此組參數下的模型效果越好。另外，在SAS的評分模型輸出中，經常使用來判斷收入分配公平程度的gini係數也用來評價模型，此時gini=2*AUC-1.

對了，解釋一下AUC指標：ROC曲線下方的面積Area Under the ROC Curve，簡稱爲AUC。這是評價模型的另外一個方法，AUC值越大，說明模型的分辨效果越好。

經常使用的模型評價還有K-S曲線，它和ROC曲線的畫法殊途同歸。以Logistic模型爲例，首先把Logistic模型輸出的機率從大到小排序，而後取10%的值（也就是機率值）做爲閥值，同理把10%*k（k=1,2,3,…,9）處的值做爲閥值，計算出不一樣的FPR和TPR值，以10%*k（k=1,2,3,…,9）爲橫座標，分別以TPR和FPR的值爲縱座標，就能夠畫出兩個曲線，這就是K-S曲線。

從K-S曲線就能衍生出KS值，KS=max(TPR-FPR)，便是兩條曲線之間的最大間隔距離。當(TPR-FPR)最大時，也就是ΔTPR-ΔFPR=0，這和ROC曲線上找最優閥值的條件ΔTPR=ΔFPR是同樣的。從這點也能夠看出，ROC曲線、K-S曲線、KS值的本質是相同的。

以某模型的評價爲例，在K-S曲線的橫座標0.4時取KS=0.53，能夠認爲最優的閥值是從小到大排序的40%處的值：

　　　　　　

　　　　　　

K-S曲線能直觀地找出模型中差別最大的一個分段，好比評分模型就比較適合用KS值進行評估；但同時，KS值只能反映出哪一個分段是區分度最大的，不能反映出全部分段的效果。因此，在實際應用中，模型評價通常須要將ROC曲線、K-S曲線、KS值、AUC指標結合起來使用。

在目前經常使用的統計軟件中，基本均可以直接輸出ROC曲線、AUC值、K-S曲線等。不過有的小夥伴會問，我用的軟件沒有這些內嵌指標，怎麼辦？還能怎麼辦，本身寫幾行代碼畫唄，相信大家能夠的。

轉自：http://www.sohu.com/a/132667664_278472