前向分步算法 && AdaBoost算法 && 提升樹（GBDT）算法 && XGBoost算法

1. 提升方法 提升（boosting）方法是一種常用的統計學方法，在分類問題中，它通過逐輪不斷改變訓練樣本的權重，學習多個分類器，並將這些分類器進行線性組合，提高分類的性能 0x1: 提升方法的基本思路 提升方法基於這樣一種思想：對於一個複雜任務來說，將多個專家的判斷進行適當（按照一定權重）的綜合（例如線性組合加法模型）所得出的判斷，要比其中任何一個專家單獨的判斷好 歷史上，Kearns和Val

>>阅读原文<<