XGBoost和GBDT的區別與聯繫

GBDT 提升樹利用加法模型與前向分佈算法實現學習的優化過程。當損失函數是平方損失和指數損失函數時，每一步優化是很簡單的。但是對一般損失函數而言，往往每一步優化並不是那麼容易。針對這一問題，Freidman提出了梯度提升算法。這是利用最速下降法的近似方法，其關鍵是利用損失函數在當前模型的值： 算法第1步初始化，估計使損失函數極小化的常數值，它是隻有一個根節點的樹，第2（a）步計算損失函數的負梯度在

>>阅读原文<<