XGBoost原理概述 XGBoost和GBDT的區別

xgboost是一種集成學習算法,屬於3類常用的集成方法(bagging,boosting,stacking)中的boosting算法類別。它是一個加法模型,基模型一般選擇樹模型,但也可以選擇其它類型的模型如邏輯迴歸等。 xgboost屬於梯度提升樹(GBDT)模型這個範疇,GBDT的基本想法是讓新的基模型(GBDT以CART分類迴歸樹爲基模型)去擬合前面模型的偏差,從而不斷將加法模型的偏差降低。
相關文章
相關標籤/搜索