AdaBoost算法原理詳細總結

        在集成學習方法之Bagging，Boosting，Stacking篇章中，我們談論boosting框架的原理，在boosting系列算法中，AdaBoost是著名的算法之一。AdaBoost是英文"Adaptive Boosting"（自適應增強）的縮寫，由Yoav Freund和Robert Schapire在1995年提出。
        今天我們就來探討下AdaBoost分類算法的原理，本篇我們先介紹AdaBoost算法；然後通過誤差分析探討AdaBoost爲什麼能提升模型的學習精度；並且從前向分步加法模型角度解釋AdaBoost；最後對AdaBoost的算法優缺點進行一個總結。

1）從boosting到AdaBoost算法

        集成原理中，我們提到的boosting框架的思想是選擇同質的基分類器，讓基分類器之間按照順序進行訓練，並讓每個基分類器都嘗試去修正前面的分類。既然這樣，怎樣才能讓同質的基分類器能夠修正前面的分類？或者說怎樣才能讓同質的基分類器之間保持「互助」呢？
       AdaBoost的做法是，讓前一個基分類器 $f_{t-1}(x)$ft−1​(x)在當前基分類器 $f_t(x)$ft​(x)的訓練集上的效果很差（和我們隨機瞎猜一樣），這樣 $f_t(x)$ft​(x)就能修正 $f_{t-1}(x)$ft−1​(x)的分類誤差， $f_t(x)$ft​(x)和 $f_{t-1}(x)$ft−1​(x)之間也就產生了「互助」。
       AdaBoost的具體做法是，通過提高被前一輪基分類器 $f_{t-1}(x)$ft−1​(x)分類錯誤的樣本的權值，降低被正確分類樣本的權值，使得上一個基分類器 $f_{t-1}(x)$ft−1​(x)在更新權值後的訓練集上的錯誤率 $\epsilon_{t-1}$ϵt−1​增大到0.5。（再在更新權值後的訓練集上訓練基分類器 $f_t(x)$ft​(x)，那 $f_t(x)$ft​(x)必能和 $f_{t-1}(x)$ft−1​(x)產生互助。）

2）AdaBoost算法

       下面我們在二分類問題上介紹AdaBoost算法。假如給定訓練數據集 $T=\left\{ (x^i,y^i) \right\}^n_{i=1}$T={(xi,yi)}i=1n​， $x^i\in R^d$xi∈Rd， $y^i\in\left\{ -1,1\right\}$yi∈{−1,1}
樣本權值爲 $w_i^n$win​，誤差率 $\epsilon_i$ϵi​。在訓練數據集 $T$T上訓練第一個基分類器 $f_1(x)$f1​(x)，其錯誤率爲 $\epsilon_1，\epsilon_1 < 0.5$ϵ1​，ϵ1​<0.5（起碼比瞎猜要好一些）
$\epsilon_1=\frac{\sum_nw_1^n\delta((f_1(x^n)\neq {\hat y}^n)}{Z_1} \qquad Z_1 = \sum_nw_1^n$ϵ1​=Z1​∑n​w1n​δ((f1​(xn)​=y^​n)​Z1​=n∑​w1n​
        更新樣本的權值（權值爲 $w_2^n$w2n​）後的訓練集爲 ${T}'$T′，使得 $f_1(x)$f1​(x)在 ${T}'$T′分類效果等同於隨機瞎猜（ $\epsilon=0.5$ϵ=0.5）。用數學語言表示即爲
$\frac{\sum_nw_2^n\delta((f_1(x^n)\neq {\hat y}^n)}{Z_2}=0.5 \qquad Z_2 = \sum_nw_2^n$Z2​∑n​w2n​δ((f1​(xn)​=y^​n)​=0.5Z2​=n∑​w2n​
        那麼樣本權重如何更新呢？AdaBoost具體做法是，減小 $f_1(x)$f1​(x)分類正確的樣本的權值，權值除以一個常數 $d$d，即 $\frac{w_1^n}{d_1}$d1​w1n​​；增大 $f_1(x)$f1​(x)分類錯誤的樣本的權值，權值乘以一個常數 $d$d，即 $w_1^nd_1$w1n​d1​。用數學語言表示即爲
$\begin{cases} w_2^n = w_1^nd_1 \qquad if \ f_1(x^n)\neq {\hat y}^n)\\ w_2^n = \frac{w_1^n}{d_1} \qquad if \ f_1(x^n)= {\hat y}^n)\\ \end{cases}${w2n​=w1n​d1​if f1​(xn)​=y^​n)w2n​=d1​w1n​​if f1​(xn)=y^​n)​
        下面我們再回到下式中來，

$\frac{\sum_nw_2^n\delta((f_1(x^n)\neq {\hat y}^n)}{Z_2}=0.5$Z2​∑n​w2n​δ((f1​(xn)​=y^​n)​=0.5

其中， $Z_2=\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n d_1+\sum_{f_1(x^n)= {\hat y}^n} \frac{w_1^n}{d_1}$Z2​=∑f1​(xn)​=y^​n​w1n​d1​+∑f1​(xn)=y^​n​d1​w1n​​；當 $f_1(x^n)\neq {\hat y}^n$f1​(xn)​=y^​n時， $w_2^n = w_1^nd_1$w2n​=w1n​d1​。
        將上面兩式帶入得：

$\frac{\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n d_1}{\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n d_1+\sum_{f_1(x^n)= {\hat y}^n} \frac{w_1^n}{d_1}}=0.5$∑f1​(xn)​=y^​n​w1n​d1​+∑f1​(xn)=y^​n​d1​w1n​​∑f1​(xn)​=y^​n​w1n​d1​​=0.5

$\sum_{f_1(x^n)= {\hat y}^n} \frac{w_1^n}{d_1}=\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n d_1$f1​(xn)=y^​n∑​d1​w1n​​=f1​(xn)​=y^​n∑​w1n​d1​

又因爲 $\epsilon_1=\frac{\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n}{Z_1}\Rightarrow \epsilon_1Z_1=\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n$ϵ1​=Z1​∑f1​(xn)​=y^​n​w1n​​⇒ϵ1​Z1​=f1​(xn)​=y^​n∑​w1n​
$1-\epsilon_1=\frac{\sum_{f_1(x^n)= {\hat y}^n} w_1^n}{Z_1}\Rightarrow (1-\epsilon_1)Z_1=\sum_{f_1(x^n)= {\hat y}^n} w_1^n$1−ϵ1​=Z1​∑f1​(xn)=y^​n​w1n​​⇒(1−ϵ1​)Z1​=f1​(xn)=y^​n∑​w1n​
因此，
$\sum_{f_1(x^n)= {\hat y}^n} \frac{w_1^n}{d_1}=\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n d_1$f1​(xn)=y^​n∑​d1​w1n​​=f1​(xn)​=y^​n∑​w1n​d1​
$\frac{1}{d_1}\sum_{f_1(x^n)= {\hat y}^n} {w_1^n}=d_1\sum_{f_1(x^n)\neq {\hat y}^n} w_1^n$d1​1​f1​(xn)=y^​n∑​w1n​=d1​f1​(xn)​=y^​n∑​w1n​
$\frac{1}{d_1}(1-\epsilon_1)Z_1=d_1\epsilon_1Z_1$d1​1​(1−ϵ1​)Z1​=d1​ϵ1​Z1​
$d_1=\sqrt{\frac{1-\epsilon_1 }{\epsilon_1}}$d1​=ϵ1​1−ϵ1​​ ​
其中 $d_1>1$d1​>1（因爲 $\epsilon_1<0.5$ϵ1​<0.5）。
        因此AdaBoost每次更新權值表達式爲：
$\begin{cases} w_{t+1}^n = w_t^n\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}=w_t^nexp(Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})) \qquad if \ f_t(x^n)\neq {\hat y}^n)\\ w_{t+1}^n = \frac{w_t^n}{\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}}=w_t^nexp(-Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})) \qquad if \ f_t(x^n)= {\hat y}^n)\\ \end{cases}$⎩⎪⎨⎪⎧​wt+1n​=wtn​ϵt​1−ϵt​​ ​=wtn​exp(Ln(ϵt​1−ϵt​​ ​))if ft​(xn)​=y^​n)wt+1n​=ϵt​1−ϵt​​ ​wtn​​=wtn​exp(−Ln(ϵt​1−ϵt​​ ​))if ft​(xn)=y^​n)​
令 $\alpha_t= Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})$αt​=Ln(ϵt​1−ϵt​​ ​)， $\alpha_t$αt​即爲基分類器 $f_t(x)$ft​(x)的權重係數。當 $\epsilon_t =0.1$ϵt​=0.1時， $\alpha_t=1.1$αt​=1.1，當 $\epsilon_t =0.4$ϵt​=0.4時， $\alpha_t=0.2$αt​=0.2。這表明，當基分類器分類誤差率越小時，基分類器的權重越大，在最終表決時起的作用也越大；當基分類器分類誤差率越大時，基分類器的權重越小，在最終表決時起的作用也越小。將 $\alpha_t$αt​帶入上式，樣本權值更新表達式變成：
$\begin{cases} w_{t+1}^n = w_t^n\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}=w_t^nexp(\alpha_t) \qquad if \ f_t(x^n)\neq {\hat y}^n)\\ w_{t+1}^n = \frac{w_t^n}{\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}}=w_t^nexp(-\alpha_t) \qquad if \ f_t(x^n)= {\hat y}^n)\\ \end{cases}$⎩⎨⎧​wt+1n​=wtn​ϵt​1−ϵt​​ ​=wtn​exp(αt​)if ft​(xn)​=y^​n)wt+1n​=ϵt​1−ϵt​​ ​wtn​​=wtn​exp(−αt​)if ft​(xn)=y^​n)​
爲了方便表示，將上式兩項合併成一項得，權值更新的表達式爲：
$w_{t+1}^n =w_t^nexp(-{\hat y}^nf_t(x^n)\alpha_t)$wt+1n​=wtn​exp(−y^​nft​(xn)αt​)
當 $f_t(x^n)= {\hat y}^n$ft​(xn)=y^​n時， ${\hat y}^nf_t(x^n)$y^​nft​(xn)爲+1，當 $\ f_t(x^n)\neq {\hat y}^n$ ft​(xn)​=y^​n時， ${\hat y}^nf_t(x^n)$y^​nft​(xn)爲-1，以上兩式爲等價變換。
       以上就是AdaBoost算法如何做樣本權值更新的整個推導過程。

       
       下面對二元分類AdaBoost算法流程進行總結：
       輸入：訓練數據集 $T=\left\{ (x^i,y^i) \right\}^N_{i=1}$T={(xi,yi)}i=1N​， $x^i\in R^d$xi∈Rd， $y^i\in\left\{ -1,1\right\}$yi∈{−1,1}
       輸出：最終的分類器 $H(x)$H(x)
①初始化訓練數據的權值（權值相等）
$w_1^n=1$w1n​=1
② $for \ t=1...T:$for t=1...T:

• 在權值爲 $\left\{ w_t^1,w_t^2...w_t^N\right\}${wt1​,wt2​...wtN​}的訓練機上訓練基分類器 $f_t(x)$ft​(x)

• 計算 $f_t(x)$ft​(x)在訓練數據集上的分類誤差率 $\epsilon_t$ϵt​ $\epsilon_t=P(f_t(x^n\neq {\hat y}^n))=\sum_nw_t^n\delta (f_t(x^n\neq {\hat y}^n))$ϵt​=P(ft​(xn​=y^​n))=n∑​wtn​δ(ft​(xn​=y^​n))

• 計算 $f_t(x)$ft​(x)的權值係數
  $\alpha_t= Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})$αt​=Ln(ϵt​1−ϵt​​ ​)

• $for \ n=1,2....N:$for n=1,2....N:
          $if \ x^n 被f_t(x)分類錯誤：$if xn被ft​(x)分類錯誤：
                  $w_{t+1}^n= w_t^n\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}=w_t^nexp(\alpha_t)$wt+1n​=wtn​ϵt​1−ϵt​​ ​=wtn​exp(αt​)
          $else \ x^n$else xn 被 $f_t(x)$ft​(x)分類正確：
                  $w_{t+1}^n = \frac{w_t^n}{\sqrt{\frac{1-\epsilon_t }{\epsilon_t}}}=w_t^nexp(-\alpha_t)$wt+1n​=ϵt​1−ϵt​​ ​wtn​​=wtn​exp(−αt​)
  ③構建基分類器線性組合
  $f(x)=\sum_T\alpha_tf_t(x)$f(x)=T∑​αt​ft​(x)
  得到最終的分類器 $H(x)$H(x)
  $H(x)=sign(\sum_T\alpha_tf_t(x))$H(x)=sign(T∑​αt​ft​(x))

3）AdaBoost的訓練誤差分析

       AdaBoost最基本的性質是它能在學習的過程中不斷減少訓練誤差，且訓練誤差以指數速率下降，且無限逼近於0。具體的數學表達式爲：
$Error Rate=\frac{1}{N}\sum \delta (\hat y^n g(x)<0)\leq \frac{1}{N}\sum_nexp(-\hat y^n g(x))=\frac{1}{N}Z_{T+1}$ErrorRate=N1​∑δ(y^​ng(x)<0)≤N1​n∑​exp(−y^​ng(x))=N1​ZT+1​
$\frac{1}{N}Z_{T+1}=\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}=\prod _{t=1}^T\sqrt{(1-4\gamma _t^2)}\leq exp(-2\sum _{t=1}^T\gamma _t^2)$N1​ZT+1​=t=1∏T​2ϵt​(1−ϵt​) ​=t=1∏T​(1−4γt2​) ​≤exp(−2t=1∑T​γt2​)
其中， $\gamma_t=\frac{1}{2}-\epsilon _t$γt​=21​−ϵt​。

       下面我們就AdaBoost做二元分類的情況，對這一結論分步進行證明。證明過程會涉及較多的數學公式的推導，對證明不感興趣的小夥伴可以直接跳到第5部分AdaBoost算法總結。
       首先我們證明：
$Error Rate=\frac{1}{N}\sum \delta (\hat y^n g(x)<0)\leq \frac{1}{N}exp(-\hat y^n g(x))$ErrorRate=N1​∑δ(y^​ng(x)<0)≤N1​exp(−y^​ng(x))

       從上一部分內容可知，訓練數據集 $T=\left\{ (x^i,y^i) \right\}^n_{i=1}$T={(xi,yi)}i=1n​， $x^i\in R^d$xi∈Rd， $y^i\in\left\{ -1,1\right\}$yi∈{−1,1}，最終的分類器 $H(x),\alpha_t$H(x),αt​的表達式爲
$H(x)=sign(\sum_{t=1}^T\alpha_tf_t(x)) \qquad \alpha_t = Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})$H(x)=sign(t=1∑T​αt​ft​(x))αt​=Ln(ϵt​1−ϵt​​ ​)
       分類器 $H(x)$H(x)的分類誤差率爲 $Error Rate$ErrorRate等於分類錯誤的樣本所佔總樣本的比例，用數學語言表達即爲，
$Error Rate=\frac{1}{N}\sum \delta (H(x^n)\neq (\hat y)^n)$ErrorRate=N1​∑δ(H(xn)​=(y^​)n)
其中， $H(x^n)\neq (\hat y)^n$H(xn)​=(y^​)n表示模型的預測值和真實值異號，因此，
$Error Rate=\frac{1}{N}\sum \delta (\hat y^n \sum_{t=1}^T\alpha_tf_t(x)<0)$ErrorRate=N1​∑δ(y^​nt=1∑T​αt​ft​(x)<0)
令 $g(x)=\sum_{t=1}^T\alpha_tf_t(x)$g(x)=∑t=1T​αt​ft​(x)，因此，
$Error Rate=\frac{1}{N}\sum \delta (\hat y^n g(x)<0)$ErrorRate=N1​∑δ(y^​ng(x)<0)
下面我們開始證明：
$Error Rate =\frac{1}{N}\sum \delta (\hat y^n g(x)<0)\leq \frac{1}{N}exp(-\hat y^n g(x))$ErrorRate=N1​∑δ(y^​ng(x)<0)≤N1​exp(−y^​ng(x))
其中 $\delta (\hat y^n g(x)<0)$δ(y^​ng(x)<0)爲01損失函數， $exp(-\hat y^n g(x))$exp(−y^​ng(x))爲指數損失函數。畫出函數圖像很容易發現上式不等式成立：
       下面我們證明
$Error Rate\leq \frac{1}{N}\sum_nexp(-\hat y^n g(x))=\frac{1}{N}Z_{T+1}$ErrorRate≤N1​n∑​exp(−y^​ng(x))=N1​ZT+1​
       已知 $g(x)=\sum_{t=1}^T\alpha_tf_t(x)$g(x)=∑t=1T​αt​ft​(x)（上面我們定義的等式）。且 $Z_{t+1}$Zt+1​爲基分類器 $f_{t+1}(x)$ft+1​(x)所有訓練樣本的權重之和，用數學語言表示，
        $Z_{t+1}=\sum _nw_{T+1}^n$Zt+1​=∑n​wT+1n​

                $=\sum _nw_{T}^nexp(-\hat y^nf_t(x^n)\alpha_t)$=∑n​wTn​exp(−y^​nft​(xn)αt​)（權值更新公式）
                $=\sum _n\prod _{t=1}^Texp(-\hat y^nf_t(x^n)\alpha_t)$=∑n​∏t=1T​exp(−y^​nft​(xn)αt​)
                $=\sum _nexp(-\hat y^n\sum _{t=1}^Tf_t(x^n)\alpha_t)$=∑n​exp(−y^​n∑t=1T​ft​(xn)αt​)（連乘符號 $\prod$∏，放到指數 $exp$exp中變成求和 $\sum$∑）
                $=\sum _nexp(-\hat y^ng(x^n))$=∑n​exp(−y^​ng(xn))
       因此， $Error Rate\leq \frac{1}{N}\sum_nexp(-\hat y^n g(x))=\frac{1}{N}Z_{T+1}$ErrorRate≤N1​n∑​exp(−y^​ng(x))=N1​ZT+1​
       已知 $\alpha_t = Ln(\sqrt{\frac{1-\epsilon_t }{\epsilon_t}})$αt​=Ln(ϵt​1−ϵt​​ ​)，下面我們證明
$Error Rate\leq \frac{1}{N}Z_{T+1}=\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}$ErrorRate≤N1​ZT+1​=t=1∏T​2ϵt​(1−ϵt​) ​
        $Z_{t+1}$Zt+1​爲基分類器 $f_{t+1}(x)$ft+1​(x)所有訓練樣本的權重之和，它是由上一輪權值 $Z_{t}$Zt​更新而來的，被分類錯誤的樣本權值增大，被分類正確的樣本權值減小。
       且 $Z_1=N$Z1​=N，因此，

        $Z_{T+1}=Z_t \epsilon _{t}exp(\alpha _{t})+Z_t(1-\epsilon _{t})exp(-\alpha _{t})$ZT+1​=Zt​ϵt​exp(αt​)+Zt​(1−ϵt​)exp(−αt​)
                       $=Z_t \epsilon _{t}\sqrt{\frac{1-\epsilon _{t}}{\epsilon _{t}}}+Z_t(1-\epsilon _{t})\sqrt{\frac{\epsilon _{t}}{1-\epsilon _{t}}}$=Zt​ϵt​ϵt​1−ϵt​​ ​+Zt​(1−ϵt​)1−ϵt​ϵt​​ ​
                       $=2Z_t\sqrt{\epsilon _{t}(1-\epsilon _{t})}$=2Zt​ϵt​(1−ϵt​) ​
                       $=N\prod _{t=1}^T2\sqrt{\epsilon _{t}(1-\epsilon _{t})}$=N∏t=1T​2ϵt​(1−ϵt​) ​
       因此，
$Error Rate\leq \frac{1}{N}Z_{T+1}=\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}$ErrorRate≤N1​ZT+1​=t=1∏T​2ϵt​(1−ϵt​) ​
       由於 $\epsilon _t<0.5$ϵt​<0.5，因此 $2\sqrt{\epsilon _t(1-\epsilon _t)}\leq 1$2ϵt​(1−ϵt​) ​≤1，所以AdaBoost的分類誤差率是不斷的再減小的。
       下面我們證明
$\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}=\prod _{t=1}^T\sqrt{(1-4\gamma _t^2)}\leq exp(-2\sum _{t=1}^T\gamma _t^2)$t=1∏T​2ϵt​(1−ϵt​) ​=t=1∏T​(1−4γt2​) ​≤exp(−2t=1∑T​γt2​)
        $\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}$∏t=1T​2ϵt​(1−ϵt​) ​
        $=\prod _{t=1}^T2\sqrt{(\frac{1}{2}-(\frac{1}{2}-\epsilon _t))(\frac{1}{2}+\frac{1}{2}-\epsilon _t)}$=∏t=1T​2(21​−(21​−ϵt​))(21​+21​−ϵt​) ​
令 $\gamma_t=\frac{1}{2}-\epsilon _t$γt​=21​−ϵt​， $\gamma_t >0$γt​>0得，
        $\prod _{t=1}^T2\sqrt{\epsilon _t(1-\epsilon _t)}$∏t=1T​2ϵt​(1−ϵt​) ​
        $=\prod _{t=1}^T2\sqrt{(\frac{1}{2}-(\frac{1}{2}-\epsilon _t))(\frac{1}{2}+\frac{1}{2}-\epsilon _t)}$=∏t=1T​2(21​−(21​−ϵt​))(21​+21​−ϵt​) ​
        $=\prod _{t=1}^T2\sqrt{\frac{1}{4}-\gamma _t^2}$=∏t=1T​241​−γt2​ ​
        $=\prod _{t=1}^T\sqrt{1-4\gamma _t^2}$=∏t=1T​1−4γt2​ ​
       最後我們證明，
$\prod _{t=1}^T\sqrt{(1-4\gamma _t^2)}\leq exp(-2\sum _{t=1}^T\gamma _t^2)$t=1∏T​(1−4γt2​) ​≤exp(−2t=1∑T​γt2​)
       首先我們構造一個函數 $f(x)=e^{-x}+x-1$f(x)=e−x+x−1，由於 $f''(x)=e^{-x}>0$f′′(x)=e−x>0，因此 $f(x)$f(x)爲凸函數，且 $minf(x)=f(0)=0$minf(x)=f(0)=0，所以 $f(x) \geq 0$f(x)≥0。下面我們進入正式證明：
        $f(x)=e^{-x}+x-1 \geq 0$f(x)=e−x+x−1≥0
        $\Rightarrow e^{-x}\geq 1-x$⇒e−x≥1−x，令 $x=4\gamma^2$x=4γ2，得
        $\Rightarrow e^{-4\gamma^2}\geq 1-4\gamma^2$⇒e−4γ2≥1−4γ2
        $\Rightarrow e^{-2\gamma^2}\geq \sqrt{1-4\gamma^2}$⇒e−2γ2≥1−4γ2 ​
因此對於 $t=1,2...T$t=1,2...T，都有 $\begin{cases} e^{-2\gamma_1^2}\geq \sqrt{1-4\gamma_1^2}\\ e^{-2\gamma_2^2}\geq \sqrt{1-4\gamma_2^2}\\ ...\\ e^{-2\gamma_t^2}\geq \sqrt{1-4\gamma_t^2}\\ \end{cases}$⎩⎪⎪⎪⎨⎪⎪⎪⎧​e−2γ12​≥1−4γ12​ ​e−2γ22​≥1−4γ22​ ​...e−2γt2​≥1−4γt2​ ​​
       將上式連乘得：
$\Rightarrow\prod _{t=1}^Texp(-2\gamma_t^2) \geq \prod _{t=1}^T \sqrt{1-4\gamma_t^2}$⇒t=1∏T​exp(−2γt2​)≥t=1∏T​1−4γt2​ ​
        $\Rightarrow\prod _{t=1}^T \sqrt{1-4\gamma_t^2}\leq \prod _{t=1}^Texp(-2\gamma_t^2)$⇒t=1∏T​1−4γt2​ ​≤t=1∏T​exp(−2γt2​)
        $\Rightarrow \prod _{t=1}^T \sqrt{1-4\gamma_t^2}\leq exp(-2\sum _{t=1}^T\gamma_t^2)$⇒t=1∏T​1−4γt2​ ​≤exp(−2t=1∑T​γt2​)

       因此，證明得到下式成立：
$Error Rate=\frac{1}{N}\sum \delta (\hat y^n g(x)<0)\leq exp(-2\sum _{t=1}^T\gamma_t^2)$ErrorRate=N1​∑δ(y^​ng(x)<0)≤exp(−2t=1∑T​γt2​)
       上不等式表明，AdaBoost的訓練誤差是以指數速率下降且無限逼近於0。（ $\gamma >0,-2\sum _{t=1}^T\gamma_t^2<0$γ>0,−2∑t=1T​γt2​<0，小於0的數求指數小於1，小於1的數無限連乘，將無限逼近與0）

4）前向分步加法模型解釋AdaBoost

       AdaBoost的另外一種解釋，認爲AdaBoost是加法模型、損失函數爲指數函數、學習算法爲前向分步算法的分類學習算法。
       加法模型比較好理解，最終的分類器是有若干個基分類器加權平均得到。即
$H(x)=\sum_T\alpha_tf_t(x)$H(x)=T∑​αt​ft​(x)
其中， $f_t(x)$ft​(x)爲基分類器， $\alpha_t$αt​爲基分類器的權值。
       前向分步學習算法，即利用前一個基分類器的結果更新後一個基分類器的訓練權重。
       假定第 $t-1$t−1輪後分類器爲：
$g_{t-1}(x)= \sum_{t=1}^{t-1}\alpha_tf_t(x)$gt−1​(x)=t=1∑t−1​αt​ft​(x)
       而第 $t$t輪後分類器爲爲：
$g_{t}(x)= \sum_{t=1}^{t}\alpha_tf_t(x)$gt​(x)=t=1∑t​αt​ft​(x)
       有上兩式可以得：
$g_t(x)=g_{t-1}(x)+\alpha_tf_t(x)$gt​(x)=gt−1​(x)+αt​ft​(x)
       因此，最終的分類器是通過前向學習算法得到的。
       AdaBoost的損失函數爲，
$\underbrace{argmin}_{\alpha,f}\sum_nexp(-\hat y^n g_t(x))$α,f argmin​​n∑​exp(−y^​ngt​(x))
       利用前向分步學習算法可以得到損失函數爲：
$(\alpha_t,f_t(x))= \underbrace{argmin}_{\alpha,f}\sum_nexp(-\hat y^n (g_{t-1}(x)+\alpha_tf_t(x))$(αt​,ft​(x))=α,f argmin​​n∑​exp(−y^​n(gn∑​exp(−y^​n(gt−1​(x)+αt​ft​(x))
       令 $w'^n_t=exp(-\hat y^n g_{t-1}(x))$wt′n​=exp(−y^​ngt−1​(x))，它的值不依賴 $\alpha_t,f_t(x)$αt​,ft​(x)，因此與最小化無關，僅僅依賴於 $g_{t-1}(x)$gt−1​(x)，隨着每一輪迭代而改變。將上式子代入損失函數，得
$(\alpha_t,f_t(x))= \underbrace{argmin}_{\alpha,f}\sum_n w'^n_texp(-\hat y \alpha_tf_t(x))$(αt​,f, f t ( x ) ) = a r g m i n ⏟ α , f ∑ n w t ′ n e x p ( − y ^ α t f t ( x ) ) (\alpha_t,f_t(x))= \underbrace{argmin}_{\alpha,f}\sum_n w'^n_texp(-\hat y \alpha_tf_t(x)) (αt​,ft​(x))=α,f argmin​​n∑​wt′n​exp(−y^​αt​ft​(x))
       我們先求 $f^*_t(x)$ft∗​(x)，對於任意的 $\alpha_t>0$αt​( x ) f^*_t(x) ft