決策樹和GBDT

回顧下Adaboost，我們是利用前一輪迭代弱學習器的誤差率來更新訓練集的權重，這樣一輪輪的迭代下去。 gbdt 的算法的流程 gbdt通過多輪迭代,每輪迭代產生一個弱分類器，每個分類器在上一輪分類器的梯度（如果損失函數是平方損失函數，則梯度就是殘差值）基礎上進行訓練。弱分類器一般會選擇爲CART TREE（也就是分類迴歸樹） 但是其實我們真正關注的，1.是希望損失函數能夠不斷的減小，2.是希望損

>>阅读原文<<