xgboost

xgboost

基本概念

Given dataset

a tree ensemble model uses K additive functions to predict the output

where, 是CART的集合

優化目標

其中， 爲正則項

when train the model in additive manner, minimize the objective for

也即， 擬合的是 和 的差值

基於二階泰勒展開

這是一條過 點的二次曲線，是 在 附近的近似
則能夠針對 進行二次近似

進一步化解

其中