集成學習總結（一）

1：Boosting Boosting是一個迭代提升的過程，所以它肯定是串行的算法（儘管xgboost可以在節點分裂屬性選擇上做並行計算）。基於訓練集，先訓練弱學習器，然後根據前一個弱學習器分錯的樣本，改變樣本的概率分佈構成新的訓練集，從而可以訓練出一個更強的學習器。這樣反覆迭代提升，就能得到一系列分類器。最後，將這些分類器組合起來，就能構成一個很強的學習器。 Adaboost算法是「加性模型」，

>>阅读原文<<