機器學習實用指南——集成學習和隨機森林

  梯度提升 另一個非常著名的提升算法是梯度提升。與 Adaboost 一樣，梯度提升也是通過向集成中逐步增加分類器運行的，每一個分類器都修正之前的分類結果。然而，它並不像 Adaboost 那樣每一次迭代都更改實例的權重，這個方法是去使用新的分類器去擬合前面分類器預測的殘差 。 讓我們通過一個使用決策樹當做基分類器的簡單的迴歸例子（迴歸當然也可以使用梯度提升）。這被叫做梯度提升迴歸樹（GBRT，

>>阅读原文<<