機器學習經典算法（3）決策樹

越在根節點（父節點）的信息越重要，也就是其信息增益越大，信息增益的大小可以用信息熵公式進行計算： 舉個可能不夠恰當的例子。我們目前有如下數據，分類結果（葉節點）爲  下雨 / 晴天： 分類結果的信息熵（下雨 或 晴天 這個數據 的信息熵）： -(1/2 * log(1/2) + 1/2 * log(1/2)) = 0.301（下雨 晴天 各6天，概率p均爲1/2） 太陽（父節點）的有無（條件）對分

>>阅读原文<<