CART,迴歸樹,GBDT,XGBoost,LightGBM一路理解過來

CART,迴歸樹,GBDT,XGBoost,LightGBM CART: 根據特徵的閾值 把葉子節點的類別歸爲離散的類別   XGBoost的四大改進: ①改進殘差函數 不用Gini作爲殘差,用二階泰勒展開+樹的複雜度(正則項) 帶來如下好處: 1.可以控制樹的複雜度 2.帶有關於梯度的更多信息,獲得了二階導數 3.可以用線性分類器 ②採用預排序 因爲每一次迭代中,都要生成一個決策樹,而這個決策樹
相關文章
相關標籤/搜索