GBDT梯度提升迴歸樹

原理： 提升樹利用加法模型與向前分步算法實現學習的優化過程。 （我覺得就是把提升樹算法裏的殘差用當前損失函數的負梯度在當前模型的值近似替代，擬合下一顆樹。） 爲啥用負梯度的值而不用提升樹裏的方法算殘差呢，是因爲當前損失函數是平方損失和指數損失函數時每步優化都很簡單，但是對於一般損失函數而言，每一步的優化並不是那麼容易，所以提出了梯度提升作爲殘差的近似值來擬合。基於殘差進行學習，那麼損失函數就會越來

>>阅读原文<<