集成學習之梯度提升樹(GBDT)原理總結

一、GBDT概述     GBDT也是集成學習Boosting中的一種算法，但是卻和傳統的Adaboost有很大的不同。Adaboost 是利用前一輪迭代弱學習器的誤差率來更新訓練集的權重，這樣一輪輪的迭代下去。GBDT也是迭代，但GBDT每一次的計算是都爲了減少上一次的殘差，進而在殘差減少（負梯度）的方向上建立一個新的模型，其弱學習器限定了只能使用CART迴歸樹模型，同時迭代思路和Adaboos

>>阅读原文<<