Boosting決策樹：GBDT

GBDT (Gradient Boosting Decision Tree)屬於集成學習中的Boosting流派，迭代地訓練基學習器 (base learner)，當前基學習器依賴於上一輪基學習器的學習結果。 不一樣於AdaBoost自適應地調整樣本的權值分佈，GBDT是經過不斷地擬合殘差 (residual)來「糾錯」基學習器的。

1. Gradient Boosting

Gradient Boosting Machine (GBM) 是由大牛Friedman [1,2] 提出來，基本思想很是簡單：基學習器存在着分類/迴歸錯誤的狀況，在下一輪基學習器學習時努力地糾正這個錯誤。在迴歸問題中，這個錯誤被稱爲殘差。好比，在學習樣本\((x, y)\)獲得一個模型\(f\)，預測值爲\(\hat{y} = f(x)\)；那麼殘差則爲：

\[ y - \hat{y} = y- f(x) \]

若是定義損失函數爲平方損失\(\frac{1}{2}(y-f(x))^2\)，那麼其梯度爲

\[ \frac{\partial \frac{1}{2}(y-f(x))^2}{\partial f(x)} = f(x) - y \]

能夠發現：殘差爲負梯度方向。對於平方損失，每一步優化是很簡單的；可是，對於其餘損失函數呢？Friedman利用負梯度近似殘差，將Gradient Boosting推廣到通常損失函數\(L(y, x)\)。步驟以下：

(1) 計算僞殘差 (pseudo-residual)，

\[ r_{im} = - \left[ \frac{\partial L(y_i, f(x_i))}{\partial f(x_i)} \right]_{f = f_{m-1}} \]

(2) 基學習器\(h_m(x)\)擬合樣本\(\{ (x_i, r_{im}) \}\)；

(3) 計算最優乘子 (multiplier) \(\gamma_m\)，使得

\[ \gamma_m = \mathop{\arg \min} \limits_{\gamma} \sum_{i} L(y_i, f_{m-1}(x) + \gamma h_m(x_i)) \]

(4) 更新模型

\begin{equation}
f_m(x) = f_{m-1}(x) + \gamma_m h_m(x)
\label{eq:update}
\end{equation}

如此迭代，直至結束或模型收斂；最後一步獲得的模型\(f_M(x)\)即爲GBM的最終模型。

2. GBDT

若是基學習器爲決策樹時，GBM則被稱爲GBDT。決策樹本質上是對特徵空間的劃分\(\{ R_{jm} \}\)，所以基學習器\(h_m(x)\)可改寫爲
\[ h_m(x) = \sum_j b_{jm} I(x \in R_{jm}) \]

其中，\(b_{jm}\)爲預測值，\(I(.)\)爲指示函數。那麼，式子\eqref{eq:update}能夠改寫爲

\[ f_m(x) = f_{m-1}(x) + \sum_j \gamma_{jm} I(x \in R_{jm}) \]

GBDT的算法步驟以下圖所示（圖片來自於 ESL [3]）：

爲了減少過擬合，經過Shrinkage的方式：

\[ f_m(x) = f_{m-1}(x) + \upsilon \cdot \gamma_m h_m(x) \]

其中，\(\upsilon\)稱之爲學習率 (learning rate)。經驗代表：當學習率\(\upsilon < 0.1\)時，泛化能力遠遠超過沒有Shrinkage的模型（即\(\upsilon =1\)）。可是，低學習率同時也帶來了更多的迭代次數。

sklearn包GradientBoostingRegressor實現了迴歸GBDT（分類用GradientBoostingClassifier），參數以下

loss: 損失函數，默認爲平方損失ls
learning_rate: 學習率
n_estimators: 基學習器數目
max_depth: 決策樹的最大深度
max_features: 最多特徵數

3. 參考資料

[1] Friedman, Jerome H. "Greedy function approximation: a gradient boosting machine." Annals of statistics (2001): 1189-1232.
[2] Friedman, Jerome H. "Stochastic gradient boosting." Computational Statistics & Data Analysis 38.4 (2002): 367-378.
[3] Trevor Hastie, Robert Tibshirani, Jerome H. Friedman. The elements of statistical learning. Springer, Berlin: Springer series in statistics, 2009.
[4] Cheng Li, A Gentle Introduction to Gradient Boosting.