原始GBDT推導

GBDT採用的是數值優化的思維, 用的最速下降法去求解Loss Function的最優解, 其中用CART決策樹去擬合負梯度, 用牛頓法求步長. XGboost用的解析的思維, 對Loss Function展開到二階近似, 求得解析解, 用解析解作爲Gain來建立決策樹, 使得Loss Function最優.
相關文章
相關標籤/搜索