[機器學習]支持向量機4——SMO算法

支持向量機1——間隔和支持向量

支持向量機2——對偶問題

支持向量機3——引入鬆弛因子

支持向量機4——SMO算法

支持向量機4——SMO算法

根據上一篇的對偶問題的結論，我們現在的目的是計算下式子，也就是找到一系列 α $\alpha$使得 (4.1) $(4.1)$公式達到最大值。

maxα∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjxixjst. ∑i=1mαiyi=0αi≥0(4.1) $$\begin{gathered} \begin{array}{}\text{(4.1)}& \underset{\alpha }{max}\underset{i=1}{\overset{m}{\sum }}{\alpha }_i-\frac{1}{2}\underset{i=1}{\overset{m}{\sum }}\underset{j=1}{\overset{m}{\sum }}{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j \\ st.\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i=0{\alpha }_i\ge 0\end{array} \end{gathered}$$

換一種表達方式那麼就是讓找到一系列 α $\alpha$使得 (4.2) $(4.2)$公式達到最小值。

minα12∑i=1m∑j=1mαiαjyiyjxixj−∑i=1mαist. ∑i=1mαiyi=0αi≥0(4.2) $$\begin{gathered} \begin{array}{}\text{(4.2)}& \underset{\alpha }{min}\frac{1}{2}\underset{i=1}{\overset{m}{\sum }}\underset{j=1}{\overset{m}{\sum }}{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j-\underset{i=1}{\overset{m}{\sum }}{\alpha }_i \\ st.\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i=0{\alpha }_i\ge 0\end{array} \end{gathered}$$

那麼現在問題就是如何解 (4.2) $(4.2)$公式。不難發現，這是一個 二次規劃的問題。可使用通用的二次規化算法來求解。然而，該問題的規模正比於訓練樣本數，這會在實際中造成很大的開銷。SMO（Sequential Minimal Optimization）可以更高效的解決上述SVM問題。

它的基本思路是先固定 αi ${\alpha }_i$之外的所有參數，然後求 αi ${\alpha }_i$上的極值，由於存在約束 ∑mi=1αiyi=0 $\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i=0$，若固定 αi ${\alpha }_i$之外的其它變量，則 αi ${\alpha }_i$可由其它變量導出。於是，SMO每次選擇兩個變量 αi,αj ${\alpha }_i,{\alpha }_j$，並固定其它參數。

假設選擇優化的參數是  α1,α2  ${\alpha }_1,{\alpha }_2$，那麼需要固定其它  m−2  $m-2$個參數。可以將 (4.2) $(4.2)$式簡化爲只關於  α1,α2  ${\alpha }_1,{\alpha }_2$的式子。

minα1,α212(α21y21x21+α22y22x22+2α1α2y1y2x1x2) − (α1+α2) + y1α1v1 + y2α2v2 + Conatantvi=∑j=3mαjxjyjxii=1,2(4.3) $$\begin{array}{}\text{(4.3)}& \begin{array}{rl}& \underset{{\alpha }_1,{\alpha }_2}{min}\frac{1}{2}\left({\alpha }_1^2{y}_1^2{x}_1^2+{\alpha }_2^2{y}_2^2{x}_2^2+2{\alpha }_1{\alpha }_2{y}_1{y}_2{x}_1{x}_2\right)-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2+Conatant\\ & v_i=\underset{j=3}{\overset{m}{\sum }}{\alpha }_j{x}_j{y}_j{x}_{i}i=1,2\end{array}\end{array}$$

其中 Constant $Constant$代表和 α1,α2 ${\alpha }_1,{\alpha }_2$無關的常數項。由於 yi∗yi ==1  $y_i\ast y_i==1$，故上式可變爲 (4.4) $(4.4)$

minα1,α2=12(α21x21+α22x22+2α1α2y1y2x1x2) − (α1+α2) + y1α1v1 + y2α2v2 + Conatantvi=∑j=3mαjxjyjxii=1,2(4.4) $$\begin{array}{}\text{(4.4)}& \begin{array}{rl}& \underset{{\alpha }_1,{\alpha }_2}{min}=\frac{1}{2}\left({\alpha }_1^2{x}_1^2+{\alpha }_2^2{x}_2^2+2{\alpha }_1{\alpha }_2{y}_1{y}_2{x}_1{x}_2\right)-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2+Conatant\\ & v_i=\underset{j=3}{\overset{m}{\sum }}{\alpha }_j{x}_j{y}_j{x}_{i}i=1,2\end{array}\end{array}$$

由於約束條件 ∑mi=1αiyi=0αi≥0 $\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i=0{\alpha }_i\ge 0$，那麼：

α1y1+α2y2=−∑i=3mαiyi=ζ(4.5) $$\begin{array}{}\text{(4.5)}& {\alpha }_1{y}_1+{\alpha }_2{y}_2=-\underset{i=3}{\overset{m}{\sum }}{\alpha }_i{y}_i=\zeta \end{array}$$

可見 ζ $\zeta$爲定值，則在等式兩端同時乘以 y1 $y_1$， y21=1 $y_1^2=1$，得到：

α1=(ζ−α2y2)y1(4.6) $$\begin{array}{}\text{(4.6)}& {\alpha }_1=(\zeta -{\alpha }_2{y}_2)y_1\end{array}$$

將 (4.6) $(4.6)$帶入 (4.4) $(4.4)$中：

minα212(ζ−α2y2)2x21+12α22x22+(ζ−α2y2)α2y2x1x2−(ζ−α2y2)y1−α2+(ζ−α2y2)v1+y2v2α2(4.7) $$\begin{array}{}\text{(4.7)}& \underset{{\alpha }_2}{min}\frac{1}{2}(\zeta -{\alpha }_2{y}_2{)}^2{x}_1^2+\frac{1}{2}{\alpha }_2^2{x}_2^2+(\zeta -{\alpha }_2{y}_2){\alpha }_2{y}_2{x}_1{x}_2-(\zeta -{\alpha }_2{y}_2)y_1-{\alpha }_2+(\zeta -{\alpha }_2{y}_2)v_1+y_2{v}_2{\alpha }_2\end{array}$$

對 (4.7) $(4.7)$的 α2 ${\alpha }_2$求導，並令求導後的式子爲0，以便於求得極值。令 (4.7) $(4.7)$式子爲 ψ(α2) $\psi ({\alpha }_2)$:

∂ψ(α2)∂α2=(x21+x22−2x1x2)α2−ζy2x21+ζy2x1x2+y1y2−1−v1y2+v2y2=0(4.8) $$\begin{array}{}\text{(4.8)}& \frac{\mathrm{\partial }\psi ({\alpha }_2)}{\mathrm{\partial }{\alpha }_2}=(x_1^2+x_2^2-2x_1{x}_2){\alpha }_2-\zeta y_2{x}_1^2+\zeta y_2{x}_1{x}_2+y_1{y}_2-1-v_1{y}_2+v_2{y}_2=0\end{array}$$

1. 由上式子假設求得了 α2 ${\alpha }_2$的值，帶入 (4.6) $(4.6)$即可求得 α1 ${\alpha }_1$，分爲標記爲 αnew1,αnew2 ${\alpha }_1^{new},{\alpha }_2^{new}$，優化之前的記錄爲 αold1,αold2 ${\alpha }_1^{old},{\alpha }_2^{old}$。由於 (4.5) $(4.5)$式，可知
   
   ζ=αold1y1+αold2y2=αnew1y1+αnew2y2(4.9) $$\begin{array}{}\text{(4.9)}& \zeta ={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2\end{array}$$
2. 由於對偶問題中已經求得 ω=∑mi=1αiyixi $\omega =\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i{x}_i$，SVM的超平面爲 f(x)=ωTx+b(4.10) $\begin{array}{}\text{(4.10)}& f(x)={\omega }^{T}x+b\end{array}$，則
   
   f(x)=∑i=1mαiyixix+b(4.11) $$\begin{array}{}\text{(4.11)}& f(x)=\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i{x}_{i}x+b\end{array}$$
   
   由於 vi=∑mj=3αjyjxjxii=1,2 $v_i=\underset{j=3}{\overset{m}{\sum }}{\alpha }_j{y}_j{x}_j{x}_{i}i=1,2$
   
   v1=f(x)−b−∑j=12αjxjyjx1(4.12) $$\begin{array}{}\text{(4.12)}& v_1=f(x)-b-\underset{j=1}{\overset{2}{\sum }}{\alpha }_j{x}_j{y}_j{x}_1\end{array}$$
   
   
   v2=f(x)−b−∑j=12αjxjyjx2(4.13) $$\begin{array}{}\text{(4.13)}& v_2=f(x)-b-\underset{j=1}{\overset{2}{\sum }}{\alpha }_j{x}_j{y}_j{x}_2\end{array}$$

將 (4.9),(4.12),(4.13) $(4.9),(4.12),(4.13)$帶入 (4.8) $(4.8)$中

(x21+x22−2x1x2)αnew2=(x21+x22−2x1x2)αold2+y2[y2−y1+f(x1)−f(x2)](4.14) $$\begin{array}{}\text{(4.14)}& (x_1^2+x_2^2-2x_1{x}_2){\alpha }_2^{new}=(x_1^2+x_2^2-2x_1{x}_2){\alpha }_2^{old}+y_2\left[y_2-y_1+f(x_1)-f(x_2)\right]\end{array}$$

αnew2=αold2+y2(E1−E2)η(4.15) $$\begin{array}{}\text{(4.15)}& {\alpha }_2^{new}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }\end{array}$$

其中E表示預測值和真實值的差。 Ei=f(xi)−yi,η=x21+x22−2x1x2 $E_i=f(x_i)-y_i,\eta =x_1^2+x_2^2-2x_1{x}_2$

根據上篇KKT這個約束：

• 0≤α≤C $0\le \alpha \le C$
• α1y1+α2y2=ζ ${\alpha }_1{y}_1+{\alpha }_2{y}_2=\zeta$

在二維平面上表達兩個約束條件：

最優解一定在方框內&&直線上取得，因此 L≤αnew2≤H $L\le {\alpha }_2^{new}\le H$
當 y1≠y2,L=max(0,αold2−αold1)H=min(C,C+αold2−αold1) $y_1\ne y_2,L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old})H=min(C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$
當 y1≠y2,L=max(0,αold1+αold2−C)H=min(C,αold1+αold2) $y_1\ne y_2,L=max(0,{\alpha }_1^{old}+{\alpha }_2^{old}-C)H=min(C,{\alpha }_1^{old}+{\alpha }_2^{old})$

經過上述處理，最終 α2 ${\alpha }_2$:

α2=⎧⎩⎨⎪⎪H,α2,L,α2>HL≤α2≤Hα2<L $${\alpha }_2=\{\begin{array}{cc}H,& {\alpha }_2>H\\ {\alpha }_2,& L\le {\alpha }_2\le H\\ L,& {\alpha }_2<L\end{array}$$

由於 ζ=αold1y1+αold2y2=αnew1y1+αnew2y2 $\zeta ={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2$，兩邊同時乘 y1 $y_1$得到：

αnew1=αold1+y1y2(αold2−αnew2)(4.16) $$\begin{array}{}\text{(4.16)}& {\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})\end{array}$$

αi,αj ${\alpha }_i,{\alpha }_j$應該怎麼選擇？

(4,2) $(4,2)$式子需要滿足KKT(Karush-Kuhn-Tucker)條件，即

⎧⎩⎨⎪⎪ai≥0yi(f(xi))−1≥0αi(yi(f(xi))−1)=0 $$\{\begin{array}{l}{a}_i\ge 0\\ y_i(f(x_i))-1\ge 0\\ {\alpha }_i\left(y_i(f(x_i))-1\right)=0\end{array}$$

第一個變量的選擇
第一個變量的選擇稱爲外循環，首先遍歷整個樣本集，選擇違反KKT約束的條件作爲 αi ${\alpha }_i$的第一個變量。只要有一個不滿足KKT約束，目標函數就會在迭代後變小，直觀的說，KKT違背的程度越大，則變量更新後可能導致目標函數降幅越大。於是，SMO先選取違背KKT程度最大的變量。

第二個變量的選擇
第二個變量的選擇過程稱爲內循環，假設在外循環中找到第一個變量 α1 ${\alpha }_1$，第二個變量的選擇希望能使 α2 ${\alpha }_2$有較大的變化，在實際中找到一個 α2 ${\alpha }_2$使得| E1−E2 $E_1-E2$|最大。

確定b

在西瓜書中：
注意由於KKT條件的約束，對於任意支持向量 (xs,ys) $(x_s,y_s)$都有 ysf(xs)=1 $y_{s}f(x_s)=1$，即：

ys(∑i∈SαiyixTixs+b)=1(4.17) $$\begin{array}{}\text{(4.17)}& y_s(\underset{i\in S}{\sum }{\alpha }_i{y}_i{x}_i^T{x}_s+b)=1\end{array}$$

理論上，可選取任意支持向量機並通過求解 (4.16) $(4.16)$來獲得b，但是現實中，用一種更加魯棒的做法，使用所有支持向量求解的平均值：

b=1|S|∑i∈S(1/ys−∑i∈SαiyixTixs) $$b=\frac{1}{|S|}\underset{i\in S}{\sum }(1/y_s-\underset{i\in S}{\sum }{\alpha }_i{y}_i{x}_i^T{x}_s)$$

機器學習實戰：
KKT

αi=0αi=C0<αi<C⇒yi(ωTxi+b)≥1⇒yi(ωTxi+b)≤1⇒yi(ωTxi+b)=1(4.18) $$\begin{array}{}\text{(4.18)}& \begin{array}{rl}{\alpha }_i=0& \Rightarrow y_i({\omega }^T{x}_i+b)\ge 1\\ {\alpha }_i=C& \Rightarrow y_i({\omega }^T{x}_i+b)\le 1\\ 0<{\alpha }_i<C& \Rightarrow y_i({\omega }^T{x}_i+b)=1\end{array}\end{array}$$

在對每兩個 α $\alpha$進行優化後，要對b的值進行更新：
1. 如果 0<anew1<C⇒y1(ωTx1+b)=1⇒∑mi=1αiyix1xi+b=y1 $0<a_1^{new}<C\Rightarrow y_1({\omega }^T{x}_1+b)=1\Rightarrow \underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i{x}_1{x}_i+b=y_1$

bnew1=y1−∑i=3Nαiyixix1−αnewiy1x1x1−αnew2y2x2x1(4.19) $$\begin{array}{}\text{(4.19)}& b_1^{new}=y_1-\underset{i=3}{\overset{N}{\sum }}{\alpha }_i{y}_i{x}_i{x}_1-{\alpha }_i^{new}{y}_1{x}_1{x}_1-{\alpha }_2^{new}{y}_2{x}_2{x}_1\end{array}$$

由於 Ei=f(xi)−yi $E_i=f(x_i)-y_i$，公式 yi−∑Ni=3αiyixix1 $y_i-\underset{i=3}{\overset{N}{\sum }}{\alpha }_i{y}_i{x}_i{x}_1$可以替換爲：

yi−∑i=3Nαiyixix1=−E1+αold1y1x1x1+αold2y2x1x1+bold $$y_i-\underset{i=3}{\overset{N}{\sum }}{\alpha }_i{y}_i{x}_i{x}_1=-E_1+{\alpha }_1^{old}{y}_1{x}_1{x}_1+{\alpha }_2^{old}{y}_2{x}_1{x}_1+b^{old}$$

可以得到

bnew1=−E1−y1x1x1(αnew1−αold1)−y2x2x1(αnew2−αold2)+bold $$b_1^{new}=-E_1-y_1{x}_1{x}_1({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{x}_2{x}_1({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$

2.如果 0<αnew2<C $0<{\alpha }_2^{new}<C$,則

bnew2=−E2−y1x1x2(αnew1−αold1)−y2x2x2(αnew2−αold2)+bold $$b_2^{new}=-E_2-y_1{x}_1{x}_2({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{x}_2{x}_2({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$

3.如果同時滿足 0<αnewi<C $0<{\alpha }_i^{new}<C$,則 bnew1=bnew2 $b_1^{new}=b_2^{new}$
4.如果同時不滿足，取兩個值中點。

SMO代碼，請戳

參考資料

https://blog.csdn.net/luoshixian099/article/details/51227754 機器學習（周志華）