Boost算法（GDBT,AdaBoost，XGBoost）原理

原文鏈接：點擊打開鏈接 簡單地來說，提升Boost就是指每一步都產生一個弱預測模型，然後加權累加到總模型中，然後每一步弱預測模型生成的的依據都是損失函數的負梯度方向，這樣若干步以後就可以達到逼近損失函數局部最小值的目標。 首先Boost肯定是一個加法模型，它是由若干個基函數及其權值乘積之和的累加，即 其中b是基函數，beta是基函數的係數，這就是我們最終分類器的樣子，現在的目標就是想辦法使損失函數

>>阅读原文<<