決策樹剪枝算法原理 損失函數 正則化

算法目的：決策樹的剪枝是爲了簡化決策樹模型，避免過擬合。 同樣層數的決策樹，葉結點的個數越多就越複雜；同樣的葉結點個數的決策樹，層數越多越複雜。 剪枝前相比於剪枝後，葉結點個數和層數只能更多或者其中一特徵一樣多，剪枝前必然更復雜。 層數越多，葉結點越多，分的越細緻，對訓練數據分的也越深，越容易過擬合，導致擬合測試數據時反而效果差。 算法基本思路：剪去決策樹模型中的一些子樹或者葉結點，並將其上層的根

>>阅读原文<<