樹類算法之---決策樹Cart樹Gini係數就算原理。

1.介紹 ID3樹與CART樹的區別： ID3算法中，選擇的是信息增益來進行特徵選擇，信息增益大的特徵優先選擇。 而在C4.5中，選擇的是信息增益比來選擇特徵，以減小信息增益容易選擇特徵值多的特徵的缺點。 可是不管是ID3仍是C4.5，都是基於熵的模型，裏面會涉及到大量的對數運算，能不能簡化一下？ GINI係數的計算公式： 假設有數據集D，定義GINI指數： G I N I ( D ) = &Th

>>阅读原文<<