xgboost基本原理

目標函數 其中，上式第一項稱爲誤差函數，常見的誤差函數有平方誤差，logistic誤差等等，第二項稱爲正則項，常見的有L1正則和L2正則，表示樹的複雜度的函數，越小複雜度越低，泛化能力越強。 基學習器 分類樹和迴歸樹（CART） 樹集成 模型學習 每一次保留原來的模型不變，加入一個新的函數f到我們的模型中。 f 的選擇標準—最小化目標函數！ 通過二階泰勒展開等，我們得到了最終的目標函數： G、H：

>>阅读原文<<