關於樹的幾個ensemble模型的比較（GBDT、xgBoost、lightGBM、RF）

決策樹的Boosting方法比較 原始的Boost算法是在算法開始的時候，爲每一個樣本賦上一個權重值，初始的時候，大家都是一樣重要的。在每一步訓練中得到的模型，會使得數據點的估計有對有錯，我們就在每一步結束後，增加分錯的點的權重，減少分對的點的權重，這樣使得某些點如果老是被分錯，那麼就會被「嚴重關注」，也就被賦上一個很高的權重。然後等進行了N次迭代（由用戶指定），將會得到N個簡單的分類器（basi

>>阅读原文<<