[機器學習]決策樹中的信息增益和信息增益比

一、特徵選擇中的信息增益 什麼是信息增益？ 信息增益是特徵選擇中的一個重要的指標，它定義爲一個特徵能爲分類系統帶來多少信息，信息越多，該特徵就越重要。 這樣就又有一個問題：如何衡量一個特徵爲分類系統帶來了多少信息呢？ 對一個特徵而言，系統有它的時候和沒有它的時候信息量將會發生變化，前後的信息量的差值就是這個特徵給系統帶來的信息量。 信息量——在信息論中就是熵。 二、計算信息增益：利用熵 1.信息論

>>阅读原文<<