手推 GBDT與xgboost

先說結論： GBDT與xgboost的主要區別是GBDT利用的一階導數的思想去擬合每棵樹，xgboost利用二階導數思想去擬合每棵樹。 另外xgboost還加入了其他許多技巧，比如xgboost加入和正則項是模型泛化能力更強；同時xgboost還支持並行計算（每棵樹還是串行，並行是特徵維度的並行）；xgboost在訓練完一棵樹後都會爲其葉子節點的分數乘以一個縮減權重(shrinkage)。來給後面

>>阅读原文<<