機器學習經典算法——決策樹

1.決策樹模型   決策樹是一種基本的分類與迴歸方法，以建樹的形式來做決策。   決策樹學習的三個步驟：特徵選擇、生成決策樹、決策樹修剪。 2.特徵選擇 特徵選擇就是尋找屬性來劃分樣本，隨着劃分過程不斷進行，我們希望決策樹的分支結點所包含的樣本儘可能屬於同一類別，即結點的"純度"越來越高。其準則就是信息增益或信息增益比。 信息熵：信息熵越小代表的樣本純度越高。 信息增益：信息增益越大，則意味着用屬

>>阅读原文<<