機器學習--xgboost算法過程推導

一 .概述 xgboost是boosting算法的其中一種，該算法思想就是不斷地添加樹，不斷地進行特徵分裂來生長一棵樹，每次添加一個樹，其實是學習一個新函數，去擬合上次預測的殘差。具體的目標函數如下： 主要就是找到ft來優化這一目標函數，通過一個簡單的例子來形象的理解該目標函數。例如是小明真實有100個糖果，現在建立一個決策系統來預測小明有多少個糖。首先建立一棵樹，記爲樹1，它的預測結果是90個，

>>阅读原文<<