關於機器學習二分類問題的幾個評估指標辨析

在完成機器學習中的二分類問題的建模階段後，須要對模型的效果作評價，現在業內一般採用的評價指標有精確率(Precision)、準確率(Accuracy)、召回率(Recall)、F值(F-Measure)等多個方面，爲了準確理解以免混淆，本文將對這些指標作簡要介紹。

1 混淆矩陣

其實，上面說起的諸多評測指標都是在混淆矩陣上衍生出來的，所以先簡要介紹混淆矩陣。

針對二分類問題，一般將咱們所關心的類別定爲正類，另外一類稱爲負類；例如使用某種分類器預測某種疾病，咱們關心的是「患病」這種狀況，以便及早接受治療，因此將「患病」設爲正類，「不患病」設爲負類。

混淆矩陣由以下數據構成：
True Positive (真正，TP)：將正類預測爲正類的數目
True Negative (真負，TN)：將負類預測爲負類的數目
False Positive(假正，FP)：將負類預測爲正類的數目（誤報）
False Negative(假負，FN)：將正類預測爲負類的數目（漏報）

接下來介紹的幾種評價指標都是由上述四個數據相互運算產生。

2 準確率（accuracy）

計算公式爲：acc = (TP+TN)/(TP+TN+FP+FN)

準確率是最多見的評價指標，很容易理解，就是預測正確的樣本數佔全部的樣本數的比例；一般來講，準確率越高分類器越好。然而，在正負樣本極不平衡的狀況下，準確率這個評價指標有很大的缺陷。

3 錯誤率（error rate）

計算公式爲：err = 1-acc

錯誤率則與準確率相反，衡量分類器錯誤分類的比例狀況。

4 靈敏度（sensitive）

計算公式爲: sensitive = TP/(TP+FN)

靈敏度表示的是樣本中全部正例中被識別的比例，衡量了分類器對正例的識別能力。

5 特效度（specificity）

計算公式爲：specificity = TN/(TN+FP)

特效度表示的是樣本中全部負例中被識別的比例，衡量了分類器對負例的識別能力。

6 精確率（precision）

計算公式爲：P = TP/(TP+FP)

精確率與準確率要有所區別，精確率表示的是被分類器分爲正例的樣本中，確實爲正例的樣本佔的比例。

7 召回率（recall）

計算公式爲：R = TP/(TP+FN) = sensitive

從公式上能夠看出，召回率與靈敏度是相同的，衡量的是分類器對正例的識別能力。這個指標結合疾病識別的例子就很好理解了，若將「患病」定爲正類，則召回率描述的是全部真正的患者中，被分類器識別出來從而召喚到醫院的患者佔的比例。

8 綜合評價指標（F-Measure）

P和R指標有時候會出現的矛盾的狀況，這樣就須要綜合考慮，常見的方法就是F-Measure（又稱F-Score）。
F-Measure是Precision和Recall加權調和平均：

當參數α=1時，就是常見的F1值：

F1綜合了P和R的結果，當F1較高時則說明分類器確實比較有效。

小結：本文介紹的幾種指標都是最爲經常使用的衡量標準，針對分類問題還有其它評測指標，如計算速度、魯棒性、可擴展性、可解釋性、ROC曲線和PR曲線等；至於多分類問題，能夠仿照二分類的狀況類比獲得與上述指標類似的指標計算公式。