迴歸核心思想
上面公式採用前向分步算法的步驟如下,
首先確定初始提升樹
f0(x)=0
, 第m步的模型是,
fm(x)=fm−1(x)+T(x;θm)
確定下一棵決策樹的參數的方法如下,
θm^=argminθm∑i=1NL(yi,fm−1(xi)+T(xi;θm))
通過找到合適的參數,從而得到合適的提升樹模型,而採用何種損失函數便成爲提升樹學習算法的核心內容,
對於迴歸問題的提升樹,某棵樹對於某個樣本
xj
的預測值如下,J爲這棵樹的葉子節點的個數,具體如何理解,請見決策樹的解釋,
T(x;θ)=∑j=1JcjI(x∈Rj)
每棵樹構建好之後對於前向分步算法的應用如下,
f0(x)=0
fm(x)=fm−1(x)+T(x;θm)m=1,2,...,M
fM(x)=∑m=1MT(x;θm)
第m步中,給定
fm−1(x)
,需求解如下公式得到
θm^
,
θm^=argminθm∑i=1NL(yi,fm−1(xi)+T(xi;θm))
如果採用平方差損失函數,
L(y,f(x))=(y−f(x))2
其損失變爲
L(y,fm−1(x)+T(x;θm))
=[y−fm−1(x)−T(x;θm)]2
=[r−T(x;θm)]2
這裏
r=y−fm−1(x)
,表示模型擬合的是數據的殘差,
輸入:訓練數據集
T={(x1,y1),...,(xN,yN)}
,
xi∈X⊆Rn,yi∈Y⊆R
,
輸出:提升樹
fM(x)
- 初始化
f0(x)=0
- 對於m=1,2,…,M
- 計算殘差
rmi=yi−fm−1(xi),i=1,2,...,N
- 擬合殘差學習迴歸樹,得到
T(x;θm)
- 更新
fm(x)=fm−1(x)+T(x;θm)
- 得到提升樹
fM(x)=∑m=1MT(x;θM)
梯度提升
上述算法求解的核心在於對於模型的損失函數是平方損失的,求解很簡單,但是對於一般的損失函數來說,每一步的優化並不是很容易,因而把損失函數的負梯度值作爲每個階段迴歸的目標去擬合一棵迴歸樹纔是一個比較理想的選擇,負梯度公式如下,
rmi=−[∂L(y,f(x))∂f(x)]f(x)=fm−1(x)
輸入: 輸入數據集
T={(x1,y1),(x2,y2),...,(xN,yN)}xi∈X⊆Rn,yi∈Y⊆R
, 損失函數
L(y,f(x))
,
輸出: 迴歸樹
f(x)^
- 初始化
f0(x)=argminc∑i=1NL(yi,c)
對於m=1,2,..,M,
a.對於i=1,2,…,N,計算
rmi=−[∂L(y,f(x))∂f(x)]f(x)=fm−1(x)
使得
rmi=−[∂L(y,f(x))∂f(x)]f(x)=fm−1(x)