XGBoost原理簡介

模型函數形式 正則化的目標函數 梯度提升樹 令 y^(t)i 表示第t次迭代時對第i個樣本的預測值。現在需要添加 ft 來使得下面的目標函數最小化 L(t)≈∑i=1nl(yi,yi^(t−1)+ft(xi))+Ω(ft) 二階近似算法可以用來快速優化目標函數。 樣本累加統一爲葉結點累加形式 可以看到當前的損失函數爲 L^(t)==∑i=1n[gift(xi)+12f2t(xi)]+Ω(ft)∑i

>>阅读原文<<