XGBoost算法的原理總結

最近在網上查詢閱讀了關於XGBoost的文章和博客，便對自己的理解做了總結。XGBoost(eXtreme Gradient Boosting)全名叫極端梯度提升，是集成學習方法中的王牌，在絕大數的迴歸和分類問題上表現的強悍，在這裏梳理下XGBoost的算法原理。 1.最優模型的構建方法 構建最優模型的一般方法是最小化訓練數據的損失函數，我們用字母 L表示，如下式： 式（1）稱爲經驗風險最小化，訓

>>阅读原文<<