【機器學習】 XGBoost算法梳理

前言：XGBoost原理上跟普通GBDT一樣，都屬於集成算法中的boost類。boost的原理可以看我的另外兩篇介紹集成學習的文章，這裏不多贅述。所以這篇文章主要在XGB與普通GBDT不同之處進行討論。 1.損失函數 XGB的損失函數是支持自定義的，只要滿足二階可導即可。 XGB的損失函數除了擬合上一輪殘差部分，還自帶了兩個損失項以減少樹模型複雜度： 先討論簡單的，正則化部分： 係數：這裏的γ和λ

>>阅读原文<<