決策樹與集成學習的結合——GBDT和XGBoost

這兩個算法在面經中提到較多，故而整理一下。 1.集成學習（將多個弱學習器組合成爲強學習器） 串行：Boosting,後一個學習器依賴於前一個，故爲串行 比較有名的是AdaBoost，每次迭代訓練一個學習器，並提高前一輪學習器分類錯誤樣本的權值，降低分類正確的權值 並行：bagging（樣本擾動）、隨機森林（樣本擾動和屬性擾動）   Bagging和Boosting的區別： 1）樣本選擇上：Bagg

>>阅读原文<<