GBDT模型

什麼是gbdt？ 利用損失函數的負梯度在當前模型的值 作爲迴歸問題提升樹算法中的殘差的近似值，擬合一個迴歸樹。 殘差與負梯度的關係 當損失函數爲平方差損失函數時，殘差和負梯度相等，當損失函數爲一般損失函數時，負梯度不等於殘差。 爲什麼要考慮一般損失函數？ 因爲平方差損失函數優點明顯就是容易計算，缺點也很明顯，它容易受到異常值的影響，對異常值敏感。容易造成過擬合。 梯度提升算法 （3）得到迴歸樹 算

>>阅读原文<<