XGBoost簡單理解

GBDT與XGBOOST比較 XGBoost對GBDT的改進1 . 避免過擬合目標函數之外加上了正則化項整體求最優解，用以權衡目標函數的下降和模型的複雜程度，避免過擬合。基學習爲CART時，正則化項與樹的葉子節點的數量T和葉子節點的值有關。 2 . 二階的泰勒展開，精度更高不同於傳統的GBDT只利用了一階的導數信息的方式，XGBoost對損失函數做了二階的泰勒展開，精度更高。 第t次的損失函數：

>>阅读原文<<