XGBoost原理

本文大量參考雪倫大佬的博客 以及wepon大佬的ppt，在此表示感謝！ 目標函數 XGBoost目標函數的定義: L(ϕ)=∑il(y^i,yi)+∑kΩ(fk)whereΩ(f)=γT+12λ||w||2 由於上式包含函數作爲參數，不能用歐式空間中傳統的優化方法進行求解，所以XGBoost採用一種累加的方式作爲訓練方法，在統計學習中這種方法稱爲「前向分步算法」。在這種方法下，目標函數變爲： L(

>>阅读原文<<