xgboost與gbdt

1.先明確一下分類樹和迴歸樹的概念： 分類樹使用信息增益或增益比率來劃分節點；每個節點樣本的類別情況投票決定測試樣本的類別。 迴歸樹使用最大均方差劃分節點；每個節點樣本的均值作爲測試樣本的迴歸預測值。 2.都是利用了boosting思想，最小化殘差（偏差）。 3.GBDT的基學習器一定是DT，而且是利用殘差梯度構造基學習器，基學習器是先訓練好的，再確定葉節點的輸出（樹的預測值，也就是權重w）。Xg

>>阅读原文<<