機器學習提升算法(XGBoost Anaboost GBGT)

1. 提升算法產生背景 假設當前一定得到了m-1棵決策樹,是否可以通過現有樣本和決策樹信息,對第m棵決策樹的建立產生有益影響? 各個決策樹組成隨機森林後,最後的投票過程是否在建立決策樹時即確定呢? 2. 提升的概念 提升可以用於迴歸和分類問題,每一步產生一個弱預測模型(如決策樹),並加權累加到總模型中,如果每一步的弱預測模型生成都是依據損失函數梯度方向,則稱之爲梯度提升 梯度提升算法是獻給一個目標

>>阅读原文<<