xgboost 原論文精讀 原理推導 + sklearn參數講解

梯度提升樹 現在站在大神的角度來回顧一下梯度提升樹 正則化的目標函數 給定訓練集D，含有n個樣本m個特徵 一個含有k棵樹的集成模型 F當然就是迴歸決策樹的空間啦。q是每棵樹的結構，T是每個樹的葉子數量。每棵樹都有獨立的樹結構q以及葉子權重w。不同於決策樹，每個迴歸樹的葉子都包含了一個連續的分數，我們使用w同表示這個葉子的分數。舉個例子來說，我們將使用給定樹的決策規則來分類爲葉子。那麼最終的預測結果

>>阅读原文<<