gboost算法的推導

一、xgboost的原理 首先值得說明的是，xgboost是gbdt的升級版，有興趣的話可以先看看gbdt的推導。xgboost同樣是構造一棵棵樹來擬合殘差; 不同之處在於 （1）gbdt使用一階導，xgboost使用二階導。 （2）xgboost在loss中包括模型複雜度，gbdt沒有。 二、xgboost的推導 首先我們來定義一下模型： 1.符號定義： 2.模型定義 　　　 假設我們迭代T輪，

>>阅读原文<<