機器學習：對決策樹剪枝

         昨天推送中介紹了決策樹的基本思想，包括從衆多特徵中找出最佳的分裂點，剛開始大家都是用選擇這個特徵後帶來的信息增益爲基本方法，後來發現它存在一個嚴重的bug，因此提出來了信息增益率（即還要除以分裂出來的那些節點對應的自身熵的和），再後來，又提出來一個與熵概念類似的基尼係數，根據這些理論和訓練數據可以構建出一顆大樹了。但是這顆大樹的泛化能力一般，需要進行剪枝操作才能提升泛化能力，那麼

>>阅读原文<<