決策樹與集成學習的結合——GBDT和XGBoost

這兩個算法在面經中提到較多,故而整理一下。 1.集成學習(將多個弱學習器組合成爲強學習器) 串行:Boosting,後一個學習器依賴於前一個,故爲串行 比較有名的是AdaBoost,每次迭代訓練一個學習器,並提高前一輪學習器分類錯誤樣本的權值,降低分類正確的權值 並行:bagging(樣本擾動)、隨機森林(樣本擾動和屬性擾動)   Bagging和Boosting的區別: 1)樣本選擇上:Bagg
相關文章
相關標籤/搜索