機器學習算法二：詳解Boosting系列算法三XGboost及總結

XGboost XGboost 是eXtreme Gradient Boosting ，他是在GBM基礎上的改進，內部同樣採用決策樹作爲基學習器，XGboost（下文稱爲XGB）與GBM的區別在於損失函數更新的方式，GBM利用的是梯度下降法的近似方法，而XGB方法則引入了牛頓法進行損失函數的尋優，因爲牛頓法使用到了二階導，這就是爲什XGB要叫做極端梯度法。 接下來講解XGB方法前先介紹一些基礎的內

>>阅读原文<<