決策樹（三）| 決策樹生成（ID3算法）+ 決策樹剪枝 | 《統計學習方法》學習筆記（十九）

一、決策樹的生成 1. ID3算法 算法核心：在決策樹各個結點上應用信息增益準則選擇特徵，遞歸地構建決策樹。 具體方法：從根結點（root node）開始，對結點計算所有可能的特徵信息增益，選擇信息增益最大的特徵作爲結點的特徵，由該特徵的不同取值建立子結點；再對子結點遞歸地調用以上方法，構建決策樹；直到所有特徵的信息增益均很小或沒有特徵可以選擇未知。最後得到一個決策樹。ID3相當於用極大似然法進行

>>阅读原文<<