決策樹（decision tree ）

三個問題： 怎樣選擇根節點 怎樣選擇後繼節點 什麼時候停止 （一顆決策樹=》一個分類準則=》一個模型） 基本的算法： 對一開始提出來的三個問題進行解答： 1.選擇最優屬性 ID3: 最優屬性選擇信息增益最大的屬性來作爲最優屬性 設D爲用類別對訓練元組進行的劃分，則D的熵（entropy）表示爲：   其中pi表示第i個類別在整個訓練元組中出現的概率，可以用屬於此類別元素的數量除以訓練元組元素總數量

>>阅读原文<<