決策樹相關公式

ID3: 使用信息增益或者互信息進行特徵選擇。取值多的屬性，能讓數據更純，信息增益更大。 C4.5: 信息增益率 CART: 基尼指數 屬性的信息增益或者基尼指數越大，就是屬性對樣本的熵減少能力越強，這個屬性使得數據由不確定性變成確定性的能力強。 經驗熵： 經驗條件熵： 信息增益： 信息增益率： 基尼係數： 將f(x)=-lnx在x=1處一階展開，忽略高階無窮小，得到f(x)≈1-x 給定M個樣本

>>阅读原文<<