GBDT(梯度提升決策樹)

gbdt樹分爲兩種， （1）殘差版本  　 殘差其實就是真實值和預測值之間的差值，在學習的過程中，首先學習一顆迴歸樹，然後將「真實值-預測值」得到殘差，再把殘差作爲一個學習目標，學習下一棵迴歸樹，依次類推，直到殘差小於某個接近0的閥值或迴歸樹數目達到某一閥值。其核心思想是每輪通過擬合殘差來降低損失函數。  　　總的來說，第一棵樹是正常的，之後所有的樹的決策全是由殘差來決定。 （2）梯度版本  　　

>>阅读原文<<