BDT(提升樹)GBDT(梯度提升樹)

BDT(提升樹 Boosting Decision Tree) 提升樹是以CART決策樹爲基學習器的集成學習方法 提升樹實際上就是加法模型和前向分佈算法，將其表示爲： 在計算前向分佈算法第m步時，給定當前的模型fm-1(x)，求解： 這樣就得到第m顆決策樹T。不同問題的提升樹區別在於損失函數不同，如分類用指數損失函數，迴歸用平方誤差損失。 當提升樹採用平方損失函數時，第m次迭代時表示： r爲殘差，

>>阅读原文<<