Learning to rank總結

一、Ranknet

在使用搜索引擎的過程中，對於某一Query(或關鍵字)，搜索引擎會找出許多與Query相關的URL，然後根據每個URL的特徵向量對該URL與主題的相關性進行打分並決定最終URL的排序，其流程如下：

排序的好壞完全取決於模型的輸出，而模型又由其參數決定，因而問題轉換成了如何利用帶label的訓練數據去獲得最優的模型參數w。Ranknet提供了一種基於Pairwise的訓練方法。

1、Cost function

預測相關性概率

對於任意一個URL對(Ui,Uj)，模型輸出的score分別爲si和sj，那麼根據模型的預測，Ui比Uj與Query更相關的概率爲 Pij=P(Ui>Uj)=11+e−σ(si−sj) $P_{ij}=P(U_i>U_j)=\frac{1}{1+e^{-\sigma (s_i-s_j)}}$，其中 σ $\sigma$是個參數。

真實相關性概率

定義真實相關性概率爲 Pij⎯⎯⎯⎯⎯⎯=12(1+Sij) $\overline{P_{ij}}=\frac{1}{2}(1+S_{ij})$，對於訓練數據中的Ui和Uj，它們都包含有一個與Query相關性的真實label，如果Ui比Uj更相關，那麼Sij=1；如果Ui不如Uj相關，那麼Sij=−1；如果Ui、Uj與Query的相關程度相同，那麼Sij=0。

代價函數定義

C(Pij⎯⎯⎯⎯⎯⎯,Pij) $C(\overline{P_{ij}},P_{ij})$

=−∑Ui>Uj,Ui<Uj,Ui=UjPij⎯⎯⎯⎯⎯⎯logPij $=-\underset{U_i>U_j,U_i<U_j,U_i=U_j}{\sum }\overline{P_{ij}}log{P}_{ij}$

=−Pij⎯⎯⎯⎯⎯⎯logPij−(1−Pij⎯⎯⎯⎯⎯⎯)log(1−Pij)−12log12 $=-\overline{P_{ij}}log{P}_{ij}-(1-\overline{P_{ij}})log(1-P_{ij})-\frac{1}{2}log\frac{1}{2}$

=−Pij⎯⎯⎯⎯⎯⎯logPij−(1−Pij⎯⎯⎯⎯⎯⎯)log(1−Pij) $=-\overline{P_{ij}}log{P}_{ij}-(1-\overline{P_{ij}})log(1-P_{ij})$
化簡如下：

下圖展示了 Cij $C_{ij}$隨 Pij⎯⎯⎯⎯⎯⎯、Pij $\overline{P_{ij}}、P_{ij}$的變化情況：

圖中t表示 si−sj $s_i-s_j$，可以看到當 Sij=1 $S_{ij}=1$時，模型預測的 si比sj $s_i比s_j$越大，其代價越小； Sij=−1 $S_{ij}=-1$時， si $s_i$比 sj $s_j$越小，代價越小； Sij=0 $S_{ij}=0$時，代價的最小值在 si $s_i$與 sj $s_j$相等處取得。該代價函數有以下特點：
1)當兩個相關性不同的文檔算出來的模型分數相同時，損失函數的值大於0，仍會對這對pair做懲罰，使他們的排序位置區分開
2)損失函數是一個類線性函數，可以有效減少異常樣本數據對模型的影響，因此具有魯棒性

總代價

C=∑(i,j)∈ICij $C={\sum }_{(i,j)\in I}{C}_{ij}$，I表示所有URL pair的集合，對於 (i,j)∈I $(i,j)\in I$的pair，i>j，即 Sij=1 $S_{ij}=1$。

2、梯度下降更新模型參數W

wk:=wk−αdCdwk $w_k:=w_k-\alpha \frac{dC}{d{w}_k}$

dCdwk=∑(i,j)∈I(dcijdsidsidwk+dcijdsjdsjdwk) $\frac{dC}{d{w}_k}=\underset{(i,j)\in I}{\sum }(\frac{d{c}_{ij}}{d{s}_i}\frac{d{s}_i}{d{w}_k}+\frac{d{c}_{ij}}{d{s}_j}\frac{d{s}_j}{d{w}_k})$

dCijdsi=σ(12(1−sij)−11+eσ(si−sj))=−dCijdsj=λij $\frac{d{C}_{ij}}{d{s}_i}=\sigma (\frac{1}{2}(1-s_{ij})-\frac{1}{1+e^{\sigma (s_i-s_j)}})=-\frac{d{C}_{ij}}{d{s}_j}={\lambda }_{ij}$

dCdwk=∑(i,j)∈I(λijdsidwk−λijdsjdwk)=∑(i,j)∈Iλij(dsidwk−dsjdwk) $\frac{dC}{d{w}_k}=\underset{(i,j)\in I}{\sum }({\lambda }_{ij}\frac{d{s}_i}{d{w}_k}-{\lambda }_{ij}\frac{d{s}_j}{d{w}_k})=\underset{(i,j)\in I}{\sum }{\lambda }_{ij}(\frac{d{s}_i}{d{w}_k}-\frac{d{s}_j}{d{w}_k})$

令 λi=∑j:(i,j)∈Iλij−∑j:(j,i)∈Iλij ${\lambda }_i=\underset{j:(i,j)\in I}{\sum }{\lambda }_{ij}-\underset{j:(j,i)\in I}{\sum }{\lambda }_{ij}$

dCdwk=∑iλidsjdwk $\frac{dC}{d{w}_k}=\underset{i}{\sum }{\lambda }_i\frac{d{s}_j}{d{w}_k}$

綜上 wk:=wk−α∑iλidsjdwk $w_k:=w_k-\alpha \underset{i}{\sum }{\lambda }_i\frac{d{s}_j}{d{w}_k}$

二、LambdaRank

RankNet以錯誤pair最少爲優化目標，然而NDCG或者ERR等評價指標就只關注top k個結果的排序，所以修改cost function如下。

1、Cost function

Cij=log(1+e−σ(si−sj))|ΔNDCG| $C_{ij}=log(1+e^{-\sigma (s_i-s_j)})|{\mathrm{\Delta }}_{NDCG}|$

λij=−σ1+eσ(si−sj)|ΔNDCG| ${\lambda }_{ij}=\frac{-\sigma }{1+e^{\sigma (s_i-s_j)}}|{\mathrm{\Delta }}_{NDCG}|$

優化方式與RankNet相似。

三、LambdaMART

以上兩個方法都是通過cost function，採用隨機梯度下降更新模型參數，使得計算URL的score值在所有URL排序中，屬於最優位置。但是lambdamart是用梯度 λij=dCijdsi ${\lambda }_{ij}=\frac{d{C}_{ij}}{d{s}_i}$建立gradient boosting CART迴歸樹，最後得到迴歸樹的加法模型作爲最終模型。下面從簡單的模型講解，一步步推導至lambdaMART。

1、AdaBoost算法

AdaBoost思想就是提高那些被前一輪弱分類器錯誤分類樣本的權值，而降低那些被正確分類樣本的權值；加大分類誤差率小的弱分類器的權值，使其在表決中起較大的作用，減小分類誤差率大的弱分類器的權值，使其在表決中起較小作用。

計算第m次迭代訓練數據更新的權值 Dm+1 $D_{m+1}$

1. 初始化訓練數據的權值分佈 D1 $D_1$爲均值：
   D1=(w11,...,w1i,...,w1N),w1i=1N,i=1,2,...,N $D_1=(w_{11},...,w_{1i},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,...,N$
2. 第m次迭代的弱分類器 Gm(x) $G_m(x)$在訓練數據集上的分類誤差率：
   em=P(Gm(xi)≠yi)=∑Ni=1wmiI(Gm(xi)≠yi) $e_m=P(G_m(x_i)\ne y_i)=\underset{i=1}{\overset{N}{\sum }}{w}_{mi}I(G_m(x_i)\ne y_i)$
3. 更新訓練數據集的權值分佈
   Dm+1=(wm+1,1,...,wm+1,i,...,wm+1,N) $D_{m+1}=(w_{m+1,1},...,w_{m+1,i},...,w_{m+1,N})$
   wm+1,i=wmie−αmyiGm(xi)Zm $w_{m+1,i}=\frac{w_{mi}{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}}{Z_m}$，i=1,2,..,N， αm ${\alpha }_m$爲當前迭代的弱分類器的權重。
   Zm $Z_m$是規範化因子 Zm=∑Ni=1wmie−αmyiGm(xi) $Z_m=\underset{i=1}{\overset{N}{\sum }}{w}_{mi}{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}$，規範後使得 Dm+1 $D_{m+1}$成爲一個概率分佈。
   1）當 Gm(x)=yi $G_m(x)=y_i$時， wm+1,i=wmie−αmZm $w_{m+1,i}=\frac{w_{mi}{e}^{-{\alpha }_m}}{Z_m}$，正確分類樣本權值縮小
   2）當 Gm(x)≠yi $G_m(x)\ne y_i$時， wm+1,i=wmieαmZm $w_{m+1,i}=\frac{w_{mi}{e}^{{\alpha }_m}}{Z_m}$，錯誤分類樣本權值增大

計算第m次迭代的弱分類器 Gm(x) $G_m(x)$權值 αm ${\alpha }_m$

Gm(x) $G_m(x)$的權值： αm=12log1−emem ${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$，對數爲自然對數。
其中 1−emem=1em−1 $\frac{1-e_m}{e_m}=\frac{1}{e_m}-1$
1）當 em $e_m$大， 1−emem $\frac{1-e_m}{e_m}$小， am $a_m$小，分類器權重變低
2）當 em $e_m$小， 1−emem $\frac{1-e_m}{e_m}$大， am $a_m$大，分類器權重變高。

算法

輸入：訓練數據集 T=(x1,y1),(x2,y2),...,(xN,yN) $T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$，其中 xi∈χ⊆Rn，yi∈y⊆{−1,+1} $x_i\in \chi \subseteq R^n，y_i\in y\subseteq \{-1,+1\}$; 弱學習算法；
輸出：最終分類器G(x).

1.初始化訓練數據的權值分佈
D1=(w11,...,w1i,...,w1N),w1i=1N,i=1,2,...,N $D_1=(w_{11},...,w_{1i},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,...,N$

2.對m=1,2,…,M
（a）使用具有權值分佈 Dm $D_m$的訓練數據集學習，得到基本分類器 Gm(x)，Gm(x):χ $G_m(x)，G_m(x):\chi$->{1,-1}

（b）計算 Gm(x) $G_m(x)$在訓練數據集上的分類誤差率 em=P(Gm(xi)≠yi)=∑Ni=1wmiI(Gm(xi)≠yi) $e_m=P(G_m(x_i)\ne y_i)=\underset{i=1}{\overset{N}{\sum }}{w}_{mi}I(G_m(x_i)\ne y_i)$

（c）計算 Gm(x) $G_m(x)$的係數 αm=12log1−emem ${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$，對數爲自然對數

（d）更新訓練數據集的權值分佈
       Dm+1=(wm+1,1,...,wm+1,i,...,wm+1,N) $D_{m+1}=(w_{m+1,1},...,w_{m+1,i},...,w_{m+1,N})$
       wm+1,i=wmie−αmyiGm(xi)Zm $w_{m+1,i}=\frac{w_{mi}{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}}{Z_m}$，i=1,2,..,N
       Zm $Z_m$是規範化因子 Zm=∑Ni=1wmie−αmyiGm(xi) $Z_m=\underset{i=1}{\overset{N}{\sum }}{w}_{mi}{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}$，規範後使得 Dm+1 $D_{m+1}$成爲一個概率分佈

3.構建基本分類器的線性組合 f(x)=∑Mm=1αmGm(x) $f(x)=\underset{m=1}{\overset{M}{\sum }}{\alpha }_m{G}_m(x)$，得到最終分類器 G(x)=sign(f(x))=sign(∑Mm=1αmGm(x) $G(x)=sign(f(x))=sign(\underset{m=1}{\overset{M}{\sum }}{\alpha }_m{G}_m(x)$)

等價算法-前向分步加法算法

當前向分步算法的損失函數是指數函數時，就是AdaBoost算法。也就是說，前項分步加法算法每次直接通過最小化指數損失函數 L(yi,fm−1(xi)+αG(xi))=exp[−yi∗(fm−1(xi)+αG(xi))] $L(y_i,f_{m-1}(x_i)+\alpha G(x_i))=exp[-y_i\ast (f_{m-1}(x_i)+\alpha G(x_i))]$，得到弱分類器的參數和權值 α $\alpha$；AdaBoost算法是其具體做法，每次通過帶權的訓練數據學習弱分類器參數，根據分類誤差率計算當前迭代弱分類器的權值 α $\alpha$以及訓練數據的權值，而訓練數據的權值也是爲了下一次迭代求弱分類器的參數，目標爲了最小化最終分類器的誤分率，否則每次訓練數據權重一樣，每次學出來的分類器都是一樣的，改變訓練數據權重是爲了讓不同分類器側重不同的特徵。

1）加法模型

f(x)=∑Mm=1βmb(x;γm) $f(x)=\underset{m=1}{\overset{M}{\sum }}{\beta }_{m}b(x;{\gamma }_m)$，其中 b(x;γm) $b(x;{\gamma }_m)$爲基函數， γm ${\gamma }_m$爲基函數的參數， βm ${\beta }_m$爲基函數的係數。

在給定訓練數據及損失函數 L(y,f(x)) $L(y,f(x))$，通過最小化損失函數 minβ,γ∑Ni=1L(yi,βmb(xi;γm)) $mi{n}_{\beta ,\gamma }\underset{i=1}{\overset{N}{\sum }}L(y_i,{\beta }_{m}b(x_i;{\gamma }_m))$學習加法模型f(x)。

2）前向分步算法

輸入：訓練數據集 T=(x1,y1),(x2,y2),...,(xN,yN) $T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$；損失函數 L(y,f(x)) $L(y,f(x))$；基函數集 {b(x;γ)} $\{b(x;\gamma )\}$;
輸出：加法模型f(x)

1. 初始化 f0(x)=0 $f_0(x)=0$

2. 對m=1,2,…,M

（a）極小化損失函數 (βm,γm)=argminβ,γ∑Ni=1L(yi,fm−1(xi)+βb(xi;γ)) $({\beta }_m,{\gamma }_m)=argmi{n}_{\beta ,\gamma }\underset{i=1}{\overset{N}{\sum }}L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma ))$，得到參數 βm,γm ${\beta }_m,{\gamma }_m$

（b）更新 fm(x)=fm−1(x)+βmb(x;γm) $f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x;{\gamma }_m)$

3. 得到加法模型 f(x)=fM(x)=∑Mm=1βmb(x;γm) $f(x)=f_M(x)=\underset{m=1}{\overset{M}{\sum }}{\beta }_{m}b(x;{\gamma }_m)$

3）由指數損失的前向分步算法推導至AadBoost

假設經過m-1輪迭代，前向分步算法已經得到 fm−1(x) $f_{m-1}(x)$，第m輪迭代目標是得到 αm、Gm(x) ${\alpha }_m、G_m(x)$，然後得到 fm(x)=fm−1(x)+αmGm(x) $f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$,使得 fm(x) $f_m(x)$在訓練數據集上的指數損失最小，損失函數爲： L(yi,fm(x))=∑Ni=1exp[−yi(fm−1(xi)+αG(xi))] $L(y_i,f_m(x))=\underset{i=1}{\overset{N}{\sum }}exp[-y_i(f_{m-1}(x_i)+\alpha G(x_i))]$。

即 (αm,Gm(x))=argminα,G∑Ni=1exp[−yi(fm−1(xi)+αG(xi))] $({\alpha }_m,G_m(x))=argmi{n}_{\alpha ,G}\underset{i=1}{\overset{N}{\sum }}exp[-y_i(f_{m-1}(x_i)+\alpha G(x_i))]$

化簡，令 w⎯⎯⎯⎯mi=exp[−yifm−1(xi)] ${\bar{w}}_{mi}=exp[-y_i{f}_{m-1}(x_i)]$

得到 (αm,Gm(x))=argminα,G∑Ni=1w⎯⎯⎯⎯miexp[−yiαG(xi)] $({\alpha }_m,G_m(x))=argmi{n}_{\alpha ,G}\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}exp[-y_i\alpha G(x_i)]$

（1)求 Gm(x) $G_m(x)$

對任意 α⪈0 $\alpha ⪈0$， Gm(x)=argminG∑Ni=1w⎯⎯⎯⎯miI(yi≠G(xi)) $G_m(x)=argmi{n}_G\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}I(y_i\ne G(x_i))$，即AdaBoost的基本分類器。

（2）求 α $\alpha$

L=∑Ni=1w⎯⎯⎯⎯miexp[−yiαG(xi)] $L=\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}exp[-y_i\alpha G(x_i)]$

=∑yi=Gm(xi)w⎯⎯⎯⎯mie−α+∑yi≠Gm(xi)w⎯⎯⎯⎯mieα $=\underset{y_i=G_m(x_i)}{\sum }{\bar{w}}_{mi}{e}^{-\alpha }+\underset{y_i\ne G_m(x_i)}{\sum }{\bar{w}}_{mi}{e}^{\alpha }$

=e−α(∑Ni=1w⎯⎯⎯⎯mi−∑Ni=1w⎯⎯⎯⎯miI(yi≠G(xi)))+eα(∑Ni=1w⎯⎯⎯⎯miI(yi≠G(xi))) $=e^{-\alpha }(\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}-\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}I(y_i\ne G(x_i)))+e^{\alpha }(\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}I(y_i\ne G(x_i)))$

=(eα−e−α)∑Ni=1w⎯⎯⎯⎯miI(yi≠G(xi))+e−α∑Ni=1w⎯⎯⎯⎯mi $=(e^{\alpha }-e^{-\alpha })\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}I(y_i\ne G(x_i))+e^{-\alpha }\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}$

令 dLdα=0 $\frac{dL}{d\alpha }=0$

(eα+e−α)∑Ni=1w⎯⎯⎯⎯miI(yi≠G(xi))−e−α∑Ni=1w⎯⎯⎯⎯mi=0 $(e^{\alpha }+e^{-\alpha })\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}I(y_i\ne G(x_i))-e^{-\alpha }\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}=0$

(eα+e−α)∑Ni=1w⎯⎯⎯⎯miI(yi≠G(xi))=e−α∑Ni=1w⎯⎯⎯⎯mi $(e^{\alpha }+e^{-\alpha })\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}I(y_i\ne G(x_i))=e^{-\alpha }\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}$

(eα+e−α)e−α=∑Ni=1w⎯⎯⎯⎯mi∑Ni=1w⎯⎯⎯⎯miI(yi≠G(xi)) $\frac{(e^{\alpha }+e^{-\alpha })}{e^{-\alpha }}=\frac{\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}}{\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}I(y_i\ne G(x_i))}$

e2α=∑Ni=1w⎯⎯⎯⎯mi∑Ni=1w⎯⎯⎯⎯miI(yi≠G(xi))−1 $e^{2\alpha }=\frac{\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}}{\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}I(y_i\ne G(x_i))}-1$

α=12log[∑Ni=1w⎯⎯⎯⎯mi∑Ni=1w⎯⎯⎯⎯miI(yi≠G(xi))−1] $\alpha =\frac{1}{2}log[\frac{\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}}{\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}I(y_i\ne G(x_i))}-1]$

其中 em=∑Ni=1w⎯⎯⎯⎯miI(yi≠G(xi))∑Ni=1w⎯⎯⎯⎯mi $e_m=\frac{\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}I(y_i\ne G(x_i))}{\underset{i=1}{\overset{N}{\sum }}{\bar{w}}_{mi}}$,爲分類誤差率，分錯的樣本加權求和除以總的樣本加權求和。

α=12log(1em−1)=12log(1−emem) $\alpha =\frac{1}{2}log(\frac{1}{e_m}-1)=\frac{1}{2}log(\frac{1-e_m}{e_m})$,即AdaBoost算法的分類器權重計算方式。

（3)更新每輪樣本權值

由 fm(x)=fm−1(x)+αmGm(x) $f_m(x)=f_{m-1}(x)+{\alpha }_m{G}_m(x)$, w⎯⎯⎯⎯m,i=exp[−yifm−1(xi)] ${\bar{w}}_{m,i}=exp[-y_i{f}_{m-1}(x_i)]$，可知

w⎯⎯⎯⎯m+1,i=exp[−yifm(xi)] ${\bar{w}}_{m+1,i}=exp[-y_i{f}_m(x_i)]$

=exp[−yi(fm−1(xi)+αmGm(xi))] $=exp[-y_i(f_{m-1}(x_i)+{\alpha }_m{G}_m(x_i))]$

=w⎯⎯⎯⎯m,iexp[−yiαmGm(xi))] $={\bar{w}}_{m,i}exp[-y_i{\alpha }_m{G}_m(x_i))]$,即AdaBoost算法訓練數據權值更新的計算方式，但此處權值歸一化放在了 em $e_m$計算時。

綜上，指數損失的前向分步算法就是AdaBoost算法。

2、CART迴歸樹

CART是在給定輸入隨機變量X條件下輸出隨機變量Y的條件概率分佈的學習方法，一般爲二叉樹，遞歸的二分每個特徵。

算法

輸入：訓練數據集D；
輸出：迴歸樹f(x)
1. 遍歷所有的j和s，選擇最優切分變量j（特徵）與切分點s（特徵值），即求解 minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2] $mi{n}_{j,s}[mi{n}_{c_1}\underset{x_i\in R_1(j,s)}{\sum }(y_i-c_1{)}^2+mi{n}_{c_2}\underset{x_i\in R_2(j,s)}{\sum }(y_i-c_2{)}^2]$
【 c1 $c_1$是所有劃分到 R1 $R_1$區域的樣本的 yi $y_i$的均值】

2. 用選定的對(j,s)劃分區域並決定相應的輸出值：
R1(j,s)=x|x(j)≤s,R2(j,s)=x|x(j)⪈s $R_1(j,s)=x|x^{(j)}\le s,R_2(j,s)=x|x^{(j)}⪈s$

cm=1Nm∑xi∈Rm(j,s)yi $c_m=\frac{1}{N_m}\underset{x_i\in R_m(j,s)}{\sum }{y}_i$

3. 繼續對兩個子區域調用步驟1、2，直至滿足停止條件

4. 將輸入空間劃分爲M個區域 R1,R2,...,RM $R_1,R_2,...,R_M$(即M個葉子節點)，生成決策樹： f(x)=∑Mm=1cmI(x∈Rm) $f(x)=\underset{m=1}{\overset{M}{\sum }}{c}_{m}I(x\in R_m)$，判斷樣本屬於哪個葉子節點，輸出就賦值該葉子節點的均值。

3、提升樹(AdaBoost+CART)

提升樹模型就是決策樹的加法模型，對於分類問題，損失函數爲指數損失函數，故只需要將AdaBoost算法中的分類器限定爲二類分類樹即可，也就是說分類提升樹就是AdaBoost的一個特例。而對於迴歸提升樹， fM(x)=∑Mm=1T(x;Θm) $f_M(x)=\underset{m=1}{\overset{M}{\sum }}T(x;{\mathrm{\Theta }}_m)$，其中， T(x;Θm) $T(x;{\mathrm{\Theta }}_m)$表示決策樹， Θm ${\mathrm{\Theta }}_m$爲決策樹的參數；M爲樹的個數。由於是迴歸模型，此處默認所有基函數參數爲1。

若將輸入空間劃分成J個互不相交的區域 R1,R2,...,RJ $R_1,R_2,...,R_J$(即決策樹的葉子節點)，並在每個區域上確定輸出常量 cj $c_j$，決策樹可表示爲 T(x;Θm)=∑Jj=1cjI(x∈Rm)，Θm={(R1,c1),(R2,c2),...,(RJ,cJ)} $T(x;{\mathrm{\Theta }}_m)=\underset{j=1}{\overset{J}{\sum }}{c}_{j}I(x\in R_m)，{\mathrm{\Theta }}_m=\{(R_1,c_1),(R_2,c_2),...,(R_J,c_J)\}$。

採用平方誤差損失函數
L(y,f(x))=(y−f(x))2=[y−fm−1(x)−T(x;Θm)]2 $L(y,f(x))=(y-f(x){)}^2=[y-f_{m-1}(x)-T(x;{\mathrm{\Theta }}_m){]}^2$，爲了讓損失函數最小，只需要讓 T(x;Θm) $T(x;{\mathrm{\Theta }}_m)$接近前一次迭代的加法模型輸出與真實輸出的殘差 r=y−fm−1(x) $r=y-f_{m-1}(x)$。

綜上，對迴歸問題的提升樹算法來說，最小化損失函數只需要簡單地擬合當前模型的殘差。

算法

輸入：訓練數據集 T=(x1,y1),(x2,y2),...,(xN,yN) $T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$，其中 xi∈χ⊆Rn，yi∈y⊆R $x_i\in \chi \subseteq R^n，y_i\in y\subseteq R$;
輸出：提升樹 fM(x) $f_M(x)$

1. 初始化 f0(x)=0 $f_0(x)=0$

2. 對m=1,2,…,M

（a）計算殘差 rmi=yi−fm−1(xi) $r_{mi}=y_i-f_{m-1}(x_i)$

（b）擬合殘差 rmi $r_{mi}$學習一個迴歸樹，得到第m棵樹的葉節點區域 Rmj $R_{mj}$，j=1,2,…,J

（c）對j=1,2,…,J，計算葉子節點的輸出 cmj=ave(yi|xi∈Rmj) $c_{mj}=ave(y_i|x_i\in R_{mj})$, 得到 T(x;Θm)=∑Jj=1cmjI(x∈Rmj) $T(x;{\mathrm{\Theta }}_m)=\underset{j=1}{\overset{J}{\sum }}{c}_{mj}I(x\in R_{mj})$

（d）更新 fm(x)=fm−1(x)+T(x;Θm) $f_m(x)=f_{m-1}(x)+T(x;{\mathrm{\Theta }}_m)$

3. 得到迴歸問題提升樹 fM(x)=∑Mm=1T(x;Θm) $f_M(x)=\underset{m=1}{\overset{M}{\sum }}T(x;{\mathrm{\Theta }}_m)$

4、GBDT(Gradient Boosting+CART)

當損失函數是平方損失（迴歸提升樹，採用前向加法算法）和指數損失（二分類提升樹，直接用AdaBoost算法）時，每一步優化是很簡單的。但對一般損失函數而言，並不那麼容易。
GBDT利用最速下降法的近似方法，關鍵在於利用損失函數關於 fm−1(x) $f_{m-1}(x)$的負梯度(讓損失函數沿着梯度方向的下降)近似迴歸提升樹的殘差，擬合一個迴歸樹。
【主要思想】
求f(x)，使得

minf(x)∑xi∈RL(y,f(x)) $mi{n}_{f(x)}\underset{x_i\in R}{\sum }L(y,f(x))$
將f(x)看成一個參數，用梯度下降迭代求解f(x)：
f(x):=f(x)−ddf(x)∑xi∈RL(y,f(x)) $f(x):=f(x)-\frac{d}{df(x)}\underset{x_i\in R}{\sum }L(y,f(x))$

算法

輸入：訓練數據集 T=(x1,y1),(x2,y2),...,(xN,yN) $T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$，其中 xi∈χ⊆Rn，yi∈y⊆R $x_i\in \chi \subseteq R^n，y_i\in y\subseteq R$; 損失函數 L(y,f(x)) $L(y,f(x))$；
輸出：迴歸樹f(x)

1. 初始化 f0(x)=argminc∑Ni=1L(yi,c) $f_0(x)=argmi{n}_c\underset{i=1}{\overset{N}{\sum }}L(y_i,c)$，估計使損失函數極小化的常數值，它是隻有一個根節點的樹， f0(xi)=c $f_0(x_i)=c$，爲了方便第一次迭代計算 r1i $r_{1i}$

2. 對m=1,2,…,M

（a）對i=1,2,…,N，計算 rmi=−[dL(yi,f(xi))df(xi)]f(x)=fm−1(x) $r_{mi}=-[\frac{dL(y_i,f(x_i))}{df(x_i)}{]}_{f(x)=f_{m-1}(x)}$

（b）對 rmi $r_{mi}$擬合一個迴歸樹，得到第m棵樹的葉節點區域 Rmj $R_{mj}$，j=1,2,…,J，估計迴歸樹葉節點區域，以擬合殘差的近似值

（c）對j=1,2,…,J，計算葉子節點的輸出 cmj=argminc∑xi∈RmjL(yi,fm−1(xi)+c) $c_{mj}=argmi{n}_c\underset{x_i\in R_{mj}}{\sum }L(y_i,f_{m-1}(x_i)+c)$，普通的迴歸樹損失函數爲平方損失，