GB和GBDT 算法流程及分析

1、優化模型的兩種策略： 1）基於殘差的方法 　　殘差其實就是真實值和預測值之間的差值，在學習的過程中，首先學習一顆迴歸樹，然後將「真實值-預測值」得到殘差，再把殘差作爲一個學習目標，學習下一棵迴歸樹，依次類推，直到殘差小於某個接近0的閥值或迴歸樹數目達到某一閥值。其核心思想是每輪通過擬合殘差來降低損失函數。 　　總的來說，第一棵樹是正常的，之後所有的樹的決策全是由殘差來決定。 2）使用梯度下降算

>>阅读原文<<