XGBoost理論相關推導

概論 弱分類器可以通過bagging和boosting轉換成強分類器。隨機森林是bagging的改進，通過有放回的隨機採樣，獲得不同的樣本數據，隨機得到不同的決策樹，各個決策樹之間相互獨立，通過投票選出最終結果。boosting是所有分類器加權求和預測最終結果，各個分類器相互不獨立。 XGBoost推導 首先定義損失函數，常見的有均方誤差和絕對值差： XGBoost中，第i顆決策樹依賴前i-1顆決

>>阅读原文<<