機器學習：對決策樹剪枝

         昨天推送中介紹了決策樹的基本思想，包括從衆多特徵中找出最佳的分裂點，剛開始你們都是用選擇這個特徵後帶來的信息增益爲基本方法，後來發現它存在一個嚴重的bug，所以提出來了信息增益率（即還要除以分裂出來的那些節點對應的自身熵的和），再後來，又提出來一個與熵概念相似的基尼係數，根據這些理論和訓練數據能夠構建出一顆大樹了。可是這顆大樹的泛化能力通常，須要進行剪枝操做才能提高泛化能力，那麼

>>阅读原文<<