決策樹三種算法比較(ID3、C4.5、CART)

一、ID3算法     D3算法核心是根據 「最大信息熵增益」 原則選擇劃分當前數據集的最好特徵。「信息熵」 在上一篇博客中寫過，它是一種信息度量方式，其不確定度越大或者說越混亂，熵就越大。 E n t ( D ) = − ∑ k = 1 ∣ Y ∣ p k log ⁡ 2 p k                  ( 信 息 熵 ) Ent(D)=-\sum_{k=1}^{|Y|} p_k\lo

>>阅读原文<<