基尼係數、熵、信息增益、信息增益率

熵 熵是事件不確定性的度量，如果事件無不確定性，則熵爲0，不確定性越大，熵越大 條件熵 在一個條件下，隨機變量的不確定性 信息增益 信息增益 = 熵 - 條件熵 表示在一個條件下，信息不確定性減少的程度 缺點：信息增益偏向取值較多的特徵 信息增益率 本質：是在信息增益的基礎之上乘上一個懲罰參數。特徵個數較多時，懲罰參數較小；特徵個數較少時，懲罰參數較大。 懲罰參數：數據集D以特徵A作爲隨機變量的熵

>>阅读原文<<