XGboost

思考： 1.XGB與GBDT、隨機森林等模型相比，有什麼優缺點？ 答：XGB的基分類器可以是cart樹也可以是線性分類器，gbdt爲cart樹。XGB加入了正則化，且優化時是對損失函數的二階導，gbdt爲一階導。xgb使用了shrinkage，每次學習完，在葉節點上乘以該係數，用以削弱每棵樹的影響，來給下面的樹留出更大的學習空間。xgb可以使用並行處理 2.XGB爲什麼可以並行訓練？ 答：上述圖二

>>阅读原文<<