機器學習面試必知：XGBoost簡介

原始的GBDT算法基於經驗損失函數的負梯度來構造新的決策樹，只是在決策樹構建完成後再進行剪枝。而XGBoost在決策樹構建階段就加入了正則項即 L t = ∑ i l ( y i , F t − 1 ( x i ) + f t ( x i ) ) + Ω ( f t ) L_{t}=\sum_{i}l(y_{i},F_{t-1}(x_{i})+f_{t}(x_{i}))+\Omega(f_{t})

>>阅读原文<<