提升樹，梯度提升樹（GBDT）筆記

決策樹可以分爲二叉分類樹或者二叉迴歸樹，剛剛我們講了分類樹，現在介紹一下回歸樹。迴歸問題是用來處理連續值。 提升樹採用了前向分佈算法，模型如下： 公式分析： 算法目標：圖中的x，y圖表示的就是，曲線上的點就是這個迴歸樹所預測到的殘差的預測值，我們最後要的就是預測值接近真實的殘差就是去擬合這個殘差（Fitted residual），讓損失函數（Loss）最小。 例子 初始化的10個點： 開始找第一課

>>阅读原文<<