集成學習——Boosting之提升樹(Boosting tree)、梯度提升樹(GBDT)、XGBoost

提升樹是以迴歸樹爲基本分類器的提升方法。以決策樹爲基函數的提升方法稱爲提升樹(boosting tree)。對分類問題決策樹是分類樹,對迴歸問題決策樹爲迴歸樹。首先定義決策樹用公式表示。 提升樹算法: 1.首先確定初始提升樹; 2.第二個提升樹 第三個提升樹 ……推出: 3.回憶一下CART迴歸樹,它是採用平方誤差損失函數最小來決定最佳分類點,,CART的優化模型爲,就是這個最佳分類點分爲兩類後殘
相關文章
相關標籤/搜索