XGboost算法原理

用到的數學基礎：泰勒公式 目標函數 關於目標函數，分開兩部分討論： 損失函數 正則項 損失函數 XGboost是一堆CART樹，做預測時就是將各棵樹的預測分數相加，當有t棵樹時： 將上式帶入目標函數： f(x)是我們要求的，將上式用泰勒公式展開： 正則項 正則項裏的w就是f(x),表示每個葉子節點對應的權重 合併 目標函數變爲2次函數，求導，即得w

>>阅读原文<<