對xgboost原理的理解

z由於xgboost的算法和GBDT的算法是相似的，只是在對損失函數的優化上邊有不同的地方， 不是指最小化損失函數的過程不同，最小化的過程都是用的隨機梯度下降法，不同是在最小化之前，對損失函數的處理上邊。GBDT是直接在原來的損失函數上求最小化，在進行隨機梯度下降的時候運用了偏微分的一階導，而xgboost改進的地方是在於將損失函數進行了泰勒展開，運用了泰勒二階展開式，用到了二階導。這是兩者最大的

>>阅读原文<<