XGBoost原理概述 XGBoost和GBDT的區別

xgboost是一種集成學習算法，屬於3類常用的集成方法(bagging,boosting,stacking)中的boosting算法類別。它是一個加法模型，基模型一般選擇樹模型，但也可以選擇其它類型的模型如邏輯迴歸等。 xgboost屬於梯度提升樹(GBDT)模型這個範疇，GBDT的基本想法是讓新的基模型（GBDT以CART分類迴歸樹爲基模型）去擬合前面模型的偏差，從而不斷將加法模型的偏差降低。

>>阅读原文<<