《西瓜書》筆記04：決策樹

1. 決策樹的劃分選擇 決策樹學習的關鍵是：如何確定最優劃分屬性。 我們希望，決策樹劃分過程中，分支結點所包含的樣本儘可能同屬一類。即結點的純度越來越高。分支結點的純度越高，則熵越小。 對於信息增益，定義爲：分支前的熵-分支後的熵。分支後純度越高，熵越小，減數越小，則差值越大。即信息增益越大，表明分支越好。 對於信息增益率，除以該屬性取值的分佈熵。也是越大越好。 信息增益，對可取值數目較多的屬性有

>>阅读原文<<