《機器學習》（二）決策樹算法

一、ID3算法     ID3算法的核心要義是在決策樹各個結點上應用信息增益準則選擇最好的特徵，遞歸地構建決策樹。具體方法是：從根結點開始，對結點計算所有可能的特徵的信息增益，選擇信息增益最大的特徵作爲結點的特徵，由該結點的不同取值建立子結點；再對子結點遞歸地調用以上方法，構建決策樹；直到所有特徵的信息增益均很小或沒有特徵可以選擇爲止。最後得到一個決策樹。 需要記住的兩個公式： 熵： 信息增益：

>>阅读原文<<