混淆矩陣

P-R圖直觀的顯示出學習器在樣本整體上的查全率和查準率，在進行比較時，若一個學習器的P-R曲線被另外一個學習器的曲線徹底包住則後者的性能優於前者，好比A比C好。

若是發生交叉現象則能夠用F1度量：

　　　　　　　　$F1=\frac{2   P   R}{P + R}$

通常形式（表達出對查準率/查全率的不一樣偏好）：

　　　　　　　　$F_{\beta}=\frac{(1 + \beta^{2})  P   R}{(\beta^{2}   P) + R}$       

$F_{\beta}$是加權調和平均：

　　　　　　　　$\frac{1}{F_{\beta}}=\frac{1}{1 +  \beta^{2}} (\frac{1}{P} + \frac{\beta^{2}}{R})$    

其中$\beta>0$度量了查全率對查準率的相對重要程度，$\beta=1$退化爲標準的F1，$\beta>1$時查全率有更大影響，$\beta<1$查準率有更大的影響。

 

不少時候咱們有多個二分類混淆矩陣，甚至是執行多分類任務，每倆倆類別的組合都對應一個混淆矩陣，總之咱們但願在n個二分類的混淆矩陣上綜合考察查準率和查全率。

1.計算P、R、F1的平均值

2.計算TP、FP、TN、FN的平均值，再計算P、R、F1。

 

ROC和AUG：不少學習器是爲ce測試樣本產生一個實值或機率預測，而後將這個預測值與一個分類閾值進行比較，若大於閾值則爲正類，不然爲反類。

真正例率（縱座標）：

　　　　　　　　$TPR=\frac{TP}{TP + FN}$

假正例率（橫座標）：

　　　　　　　　$FPR=\frac{FP}{TN + FP}$

繪圖：

給定m+個正例和m-個反例，根據學習器預測結果對樣例進行排序，而後把分類閾值設爲最大，即把所有樣例均預測爲反例。此時真正例率和假反例率均爲0，而後將分類閾值依次設爲每個樣例的預測值，即依次將每一個樣例劃分爲正例。

進行學習器的比較時，與P-R圖相似，若一個學習器的ROC曲線被另外一個學習器的曲線徹底包住則後者的性能優於前者。若發生交叉則比較倆者的面積即AUG。

$AUG \approx \frac{1}{2} \sum_{i = 1}^{m - 1} (x_{i + 1} - x_{i}) (y_{i} + y_{i + 1})$