機器學習自學之路-決策樹 算法選擇：三種算法優缺點比較（ID三、C4.五、CART）

ID3 D3算法十分簡單，核心是根據「最大信息熵增益」原則選擇劃分當前數據集的最好特徵，信息熵是信息論裏面的概念，是信息的度量方式，不肯定度越大或者說越混亂，熵就越大。在創建決策樹的過程當中，根據特徵屬性劃分數據，使得本來「混亂」的數據的熵(混亂度)減小，按照不一樣特徵劃分數據熵減小的程度會不同。在ID3中選擇熵減小程度最大的特徵來劃分數據（貪心），也就是「最大信息熵增益」原則。web 同時這是最

>>阅读原文<<