統計學習方法筆記：決策樹

感受 其實決策樹的思想很好懂的，只要把信息增益弄明白，然後找個例子計算一遍就明白了。爲了防止過擬合，需要對生成的樹進行後剪枝，後剪枝的算法也簡單明瞭，其實還有一個優化算法是前向剪枝，即在生成決策樹的時候就進行交叉驗證，如果精度在驗證集上下降了，就停止生成下面的葉子了。在論文中我發現前向剪枝比後剪枝的效果要好，這是由於後剪枝從葉子結點開始剪枝，對於一些中間結點的作用比較小，前向剪枝對每一個結點都會做

>>阅读原文<<