梯度下降與GBDT

       首先明確一點，gbdt 無論用於分類還是迴歸一直都是使用的CART 迴歸樹。不會因爲我們所選擇的任務是分類任務就選用分類樹，這裏面的核心是因爲gbdt 每輪的訓練是在上一輪的訓練的殘差基礎之上進行訓練的。這裏的殘差就是當前模型的負梯度值 。這個要求每輪迭代的時候，弱分類器的輸出的結果相減是有意義的。殘差相減是有意義的。         如果選用的弱分類器是分類樹，類別相減是沒有意義的

>>阅读原文<<