XGBoost

從GBDT到XGBoost XGBoost相對GBDT的優化 算法:在算法的弱學習器模型選擇上,GBDT只支持CART迴歸樹,XGBoost還可以使用很多其他的弱學習器。在算法的優化方式上,GBDT的損失函數只對誤差部分做負梯度(一階泰勒)展開,而XGBoost損失函數對誤差部分做二階泰勒展開,更加準確。 算法運行效率:對每個弱學習器(如決策樹)建立過程中做並行選擇,找到合適的子樹分裂特徵和特徵值
相關文章
相關標籤/搜索