SVM支持向量機原理推導

SVM是一個非常經典的監督學習算法。下面給出SVM對於二值分類的原理及推導過程。

1、問題轉化

如下圖所示：
想要找一條直線 $wx+b=0$wx+b=0將圖中紅藍兩類樣本區分開，假設將這條線向左和向右分別平移，接觸到樣本點停止，得到兩條新的直線，設它們分別爲 $wx+b=c\;$wx+b=c和 $wx+b=-c$wx+b=−c。
令 $w=\frac{w}{c},b=\frac{b}{c}$w=cw​,b=cb​，則這兩條直線轉化爲 $wx+b=1\;$wx+b=1和 $wx+b=-1$wx+b=−1。此時，令 $wx+b=0$wx+b=0也左右同時除以 $c$c，仍得到 $wx+b=0$wx+b=0。
SVM的目的即找到直線 $wx+b=0$wx+b=0，使得 $wx+b=1\;$wx+b=1和 $wx+b=-1$wx+b=−1之間的距離 $2d=\frac{2}{||w||}$2d=∣∣w∣∣2​最大。
所以，只要保證：
$min\quad \frac{1}{2}||w||^{2}$min21​∣∣w∣∣2
由於在上圖中紅線的上方 $wx+b<0\;$wx+b<0，且標籤 $y=-1$y=−1；而在紅線的下方有 $wx+b>0\;$wx+b>0，且標籤 $y=1$y=1，故有約束條件：
$(wx_{i}+b)y_{i}\geq1$(wxi​+b)yi​≥1
到這裏，此問題已被轉化爲一有約束的優化問題：
$\begin{cases} min\; \frac{1}{2}||w||^{2} \\ (wx_{i}+b)y_{i}\geq1 \end{cases}${min21​∣∣w∣∣2(wxi​+b)yi​≥1​
對於小樣本問題，可以用拉格朗日乘子法解決。
詳細解法參照 https://blog.csdn.net/qq_36758914/article/details/103324074

2、拉格朗日對偶

此處引入拉格朗日對偶的概念。

1） 原始問題

假設 $f_{(x)}, c_{i(x)}, h_{j(x)}$f(x)​,ci(x)​,hj(x)​是定義在 $R^{n}$Rn上的連續可微函數，考慮約束最優化問題：
$\mathop{min}\limits_{x\in R^{n}}f_{(x)}$x∈Rnmin​f(x)​
$s.t.\quad c_{i(x)}\leq0\;,i=1,2,…,k;\quad h_{j(x)}=0\;,i=1,2,…,l$s.t.ci(x)​≤0,i=1,2,…,k;hj(x)​=0,i=1,2,…,l
稱此約束最優化問題爲原始最優化問題或原始問題。
首先，引進廣義拉格朗日函數：
$L_{(x,\alpha,\beta)}=f_{(x)}+\sum_{i=1}^{k}\alpha_{i}c_{i(x)}+\sum_{j=1}^{l}\beta_{j}h_{j(x)}$L(x,α,β)​=f(x)​+i=1∑k​αi​ci(x)​+j=1∑l​βj​hj(x)​
這裏， $x=(x^{(1)},x^{(2)},…,x^{(n)})^{T}\in R^{n}$x=(x(1),x(2),…,x(n))T∈Rn， $\alpha_{i},\; \beta_{j}$αi​,βj​是拉格朗日乘子， $\alpha_{i}\geq0$αi​≥0。考慮 $x$x的函數：
$\theta_{p(x)}=\mathop{max}\limits_{\alpha,\; \beta,\; \alpha_{i}\geq0}L_{(x,\alpha,\beta)}$θp(x)​=α,β,αi​≥0max​L(x,α,β)​
假設給定某個 $x$x，如果 $x$x違反原始問題的約束條件，即存在某個 $i$i使得 $c_{i(x)}>0\;$ci(x)​>0或者存在某個 $j$j使得 $h_{j(x)}\ne0$hj(x)​​=0，那麼就有：
$\theta_{p(x)}=\mathop{max}\limits_{\alpha,\; \beta,\; \alpha_{i}\geq0}[f_{(x)}+\sum_{i=1}^{k}\alpha_{i}c_{i(x)}+\sum_{j=1}^{l}\beta_{j}h_{j(x)}]=+\infty$θp(x)​=α,β,αi​≥0max​[f(x)​+i=1∑k​αi​ci(x)​+j=1∑l​βj​hj(x)​]=+∞
因爲若某個 $i$i使得 $c_{i(x)}>0$ci(x)​>0，則可以令 $\alpha_{i}\rightarrow+\infty$αi​→+∞，若某個 $j$j使 $h_{j(x)}\ne0$hj(x)​​=0，則可令 $\beta_{j}\rightarrow+\infty$βj​→+∞。以上兩種情況均可以使 $\;\theta_{p(x)}=+\infty$θp(x)​=+∞。
相反地，若 $x$x滿足約束條件，則：
$\theta_{p(x)}=\mathop{max}\limits_{\alpha,\; \beta,\; \alpha_{i}\geq0}[f_{(x)}+\sum_{i=1}^{k}\alpha_{i}c_{i(x)}]$θp(x)​=α,β,αi​≥0max​[f(x)​+i=1∑k​αi​ci(x)​]
由於 $\alpha_{i}\geq0$αi​≥0， $c_{i(x)}\leq0$ci(x)​≤0，故 $\mathop{\sum}\limits_{i=1}^{k}\alpha_{i}c_{i(x)}\leq0$i=1∑k​αi​ci(x)​≤0。所以：
$\theta_{p(x)}=f_{(x)}$θp(x)​=f(x)​
即：
$\theta_{p(x)}=\begin{cases} f_{(x)}, & \text {x\;滿足原問題約束} \\ +\infty, & \text {其他} \end{cases}$θp(x)​={f(x)​,+∞,​x滿足原問題約束其他​
如果考慮極小化問題
$\mathop{min}\limits_{x}\theta_{p(x)}=\mathop{min}\limits_{x} \mathop{max}\limits_{\alpha,\; \beta,\; \alpha_{i}\geq0}L_{(x,\alpha,\beta)}$xmin​θp(x)​=xmin​α,β,αi​≥0max​L(x,α,β)​
由 $\theta_{p(x)}$θp(x)​的表達式可知， $\mathop{min}\limits_{x}\theta_{p(x)}$xmin​θp(x)​是與原始最優化問題等價的，也就是說它們的解相同。問題 $\mathop{min}\limits_{x} \mathop{max}\limits_{\alpha,\; \beta,\; \alpha_{i}\geq0}L_{(x,\alpha,\beta)}$xmin​α,β,αi​≥0max​L(x,α,β)​被稱爲廣義拉格朗日函數的極小極大問題。

2）對偶問題

定義
$\theta_{D(\alpha,\beta)}=\mathop{min}\limits_{x}L_{(x,\alpha,\beta)}$θD(α,β)​=xmin​L(x,α,β)​
再考慮極大化 $\theta_{D(\alpha,\beta)}$θD(α,β)​，即：
$\mathop{max}\limits_{\alpha,\; \beta,\; \alpha_{i}\geq0}\theta_{D(\alpha,\beta)}=\mathop{max}\limits_{\alpha,\; \beta,\; \alpha_{i}\geq0}\mathop{min}\limits_{x}L_{(x,\alpha,\beta)}$α,β,αi​≥0max​θD(α,β)​=α,β,αi​≥0max​xmin​L(x,α,β)​
問題 $\mathop{max}\limits_{\alpha,\; \beta,\; \alpha_{i}\geq0}\mathop{min}\limits_{x}L_{(x,\alpha,\beta)}\;$α,β,αi​≥0max​xmin​L(x,α,β)​稱爲廣義拉格朗日函數的極大極小問題。
若目標函數與所有約束函數皆爲凸函數，則原始問題和它的對偶問題是等價的。
而對於 $SVM$SVM，其所有函數皆爲凸函數。

3、SVM的對偶問題

$\begin{cases} min\; \frac{1}{2}w^{2} \\ (wx_{i}+b)y_{i}\geq1 \end{cases}${min21​w2(wxi​+b)yi​≥1​
其廣義拉格朗日函數爲：
$L_{(w,b,\alpha)}=\frac{1}{2}w^{2}+\sum_{i=1}^{N}\alpha_{i}[1-(wx_{i}+b)y_{i}]$L(w,b,α)​=21​w2+i=1∑N​αi​[1−(wxi​+b)yi​]
原問題：
$\mathop{min}\limits_{w,\;b} \mathop{max}\limits_{\alpha_{i}\geq0}L_{(w,b,\alpha)}$w,bmin​αi​≥0max​L(w,b,α)​
對偶問題：
$\mathop{max}\limits_{\alpha_{i}\geq0}\mathop{min}\limits_{w,\;b}L_{(w,b,\alpha)}$αi​≥0max​w,bmin​L(w,b,α)​
先對 $L_{(x,\alpha,\beta)}$L(x,α,β)​求極小值：
$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum_{i=1}^{N}\alpha_{i}x_{i}y_{i}$∂w∂L​=0⇒w=i=1∑N​αi​xi​yi​
$\frac{\partial L}{\partial b}=0\Rightarrow \sum_{i=1}^{N}\alpha_{i}y_{i}=0$∂b∂L​=0⇒i=1∑N​αi​yi​=0
將結果帶入對偶問題，可將其轉化爲下式：
$\mathop{max}\limits_{\alpha_{i}\geq0}\;\frac{1}{2}(\sum_{i=1}^{N}\alpha_{i}x_{i}y_{i})^{2}+\sum_{i=1}^{N}\alpha_{i}[1-((\sum_{j=1}^{N}\alpha_{j}x_{j}y_{j})x_{i}+b)y_{i}]$αi​≥0max​21​(i=1∑N​αi​xi​yi​)2+i=1∑N​αi​[1−((j=1∑N​αj​xj​yj​)xi​+b)yi​]
$=\mathop{max}\limits_{\alpha_{i}\geq0}\;\frac{1}{2}(\sum_{i=1}^{N}\alpha_{i}x_{i}y_{i})^{2}+\sum_{i=1}^{N}\alpha_{i}[1-(\sum_{j=1}^{N}\alpha_{j}x_{j}y_{j})x_{i}y_{i}]$=αi​≥0max​21​(i=1∑N​αi​xi​yi​)2+i=1∑N​αi​[1−(j=1∑N​αj​xj​yj​)xi​yi​]
$=\mathop{max}\limits_{\alpha_{i}\geq0}\;\frac{1}{2}(\sum_{i=1}^{N}\alpha_{i}x_{i}y_{i})^{2}+\sum_{i=1}^{N}\alpha_{i}-\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_{i}x_{i}y_{i}\alpha_{j}x_{j}y_{j}$=αi​≥0max​21​(i=1∑N​αi​xi​yi​)2+i=1∑N​αi​−i=1∑N​j=1∑N​αi​xi​yi​αj​xj​yj​
$=\mathop{max}\limits_{\alpha_{i}\geq0}\;-\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_{i}\alpha_{j}y_{i}y_{j}<x_{i}x_{j}>+\sum_{i=1}^{N}\alpha_{i}$=αi​≥0max​−21​i=1∑N​j=1∑N​αi​αj​yi​yj​<xi​xj​>+i=1∑N​αi​
約束條件爲：
$\sum_{i=1}^{N}\alpha_{i}y_{i}=0\quad \alpha_{i}\geq0$i=1∑N​αi​yi​=0αi​≥0
$KKT$KKT條件爲：
$\alpha_{i}[1-(wx_{i}+b)y_{i}=0$αi​[1−(wxi​+b)yi​=0
故原始問題被轉化爲：
$\begin{cases} \mathop{max}\limits_{\alpha_{i}\geq0}\;-\frac{1}{2}\mathop{\sum}\limits_{i=1}^{N}\mathop{\sum}\limits_{j=1}^{N}\alpha_{i}\alpha_{j}y_{i}y_{j}<x_{i}x_{j}>+\mathop{\sum}\limits_{i=1}^{N}\alpha_{i} \\ \mathop{\sum}\limits_{i=1}^{N}\alpha_{i}y_{i}=0\quad \alpha_{i}\geq0 \\ \alpha_{i}[1-(wx_{i}+b)y_{i}=0 \end{cases}$⎩⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎧​αi​≥0max​−21​i=1∑N​j=1∑N​αi​αj​yi​yj​<xi​xj​>+i=1∑N​αi​i=1∑N​αi​yi​=0αi​≥0αi​[1−(wxi​+b)yi​=0​

4、SMO算法（序列最小優化算法）

優化此問題時採用SMO算法。
假設此問題中只有 $\alpha_{1}$α1​到 $\alpha_{10}$α10​，則SMO算法的步驟如下。
1）先固定 $\alpha_{3}$α3​到 $\alpha_{10}$α10​，則最優化函數變爲：
$\mathop{max}\limits_{\alpha_{i}\geq0}\;-\frac{1}{2}\mathop{\sum}\limits_{i=1}^{2}\mathop{\sum}\limits_{j=1}^{2}\alpha_{i}\alpha_{j}y_{i}y_{j}<x_{i}x_{j}>+\mathop{\sum}\limits_{i=1}^{2}\alpha_{i}$αi​≥0max​−21​i=1∑2​j=1∑2​αi​αj​yi​yj​<xi​xj​>+i=1∑2​αi​
約束條件變爲：
$\alpha_{1}y_{1}+\alpha_{2}y_{2}=-\sum_{i=3}^{10}\alpha_{i}y_{i}\text{\;爲一常數}$α1​y1​+α2​y2​=−i=3∑10​αi​yi​爲一常數
則此優化問題變成了一個二維變量（ $\alpha_{1}，\alpha_{2}$α1​，α2​）的優化問題，使原來的十維優化問題大大簡化。
這時，可以先算出最優的 $\alpha_{1}$α1​和 $\alpha_{2}$α2​。
2）固定 $\alpha_{1}$α1​和 $\alpha_{4}$α4​到 $\alpha_{10}$α10​，重複以上操作並代入最優的 $\alpha_{1}$α1​，得到最優的 $\alpha_{2}$α2​和 $\alpha_{3}$α3​。
3）固定 $\alpha_{1}$α1​， $\alpha_{2}$α2​和 $\alpha_{5}$α5​到 $\alpha_{10}$α10​，重複以上操作並代入最優的 $\alpha_{1}$α1​和 $\alpha_{2}$α2​，得到最優的 $\alpha_{3}$α3​和 $\alpha_{4}$α4​。
……
4）得到所有的最優 $\alpha$α，將其代入 $w=\mathop{\sum}\limits_{i=1}^{10}\alpha_{i}x_{i}y_{i}$w=i=1∑10​αi​xi​yi​，得到最優的 $w$w值。
5）若得到的 $\alpha_{i}=0$αi​=0，則表示第 $i$i個約束條件不起作用；若得到的 $\alpha_{i}\ne0$αi​​=0，則它對應的 $x_{i}$xi​和 $y_{i}$yi​就是支持向量。
6）通過 $y=(\mathop{\sum}\limits_{i=1}^{N}\alpha_{i}x_{i}y_{i})^{T}x=\mathop{\sum}\limits_{i=1}^{N}\alpha_{i}y_{i}x_{i}^{T}x\;$y=(i=1∑N​αi​xi​yi​)Tx=i=1∑N​αi​yi​xiT​x得到某樣本點對應的標籤。

5、線性不可分核函數

對於一些線性不可分的樣本，如下圖（左），不能找出一條直線來分類樣本。此時需要做空間的變換。
設原空間爲 $\chi \subset R^{n},x=(x^{(1)},x^{(2)})^{T} \in \chi$χ⊂Rn,x=(x(1),x(2))T∈χ，新空間爲 $Z\subset R^{2},z=(z^{(1)},z^{(2)})^{T} \in Z$Z⊂R2,z=(z(1),z(2))T∈Z，定義從原空間到新空間的變換（映射）：
$z=\phi_{(x)}=((x^{(1)})^{2},(x^{(2)})^{2})^{T}$z=ϕ(x)​=((x(1))2,(x(2))2)T
經過變換 $z=\phi_{(x)}$z=ϕ(x)​，原空間 $\chi \subset R^{n}$χ⊂Rn變換爲新空間 $Z\subset R^{2}$Z⊂R2，原空間中的點相應地變換爲新空間中的點，原空間中的橢圓
$w_{1}(x^{(1)})^{2}+w_{2}(x^{(2)})^{2}+b=0$w1​(x(1))2+w2​(x(2))2+b=0
變換爲新空間中的直線
$w_{1}z^{(1)}+w_{2}z^{(2)}+b=0$w1​z(1)+w2​z(2)+b=0
即由下圖中的左圖變爲右圖。
實際上我們並不需要知道經過空間變換後的 $z_{1}$z1​和 $z_{2}$z2​的具體值，因爲由 $y=(\mathop{\sum}\limits_{i=1}^{N}\alpha_{i}x_{i}y_{i})^{T}x=\mathop{\sum}\limits_{i=1}^{N}\alpha_{i}y_{i}x_{i}^{T}x\;$y=(i=1∑N​αi​xi​yi​)Tx=i=1∑N​αi​yi​xiT​x知，我們只需要知道 $x_{i}$xi​和 $x$x的點積即可。
常用的空間變換有：
1）多項式核函數：
$K_{(x,z)}=(x\cdot z+1)^{p}$K(x,z)​=(x⋅z+1)p
對應的支持向量機是一個 $p$p次多項式的分類器。此時，分類決策函數變成：
$f_{(x)}=sign(\mathop{\sum}\limits_{i=1}^{N}\alpha_{i}y_{i}(x_{i}\cdot x+1)^{p}+b)$f(x)​=sign(i=1∑N​αi​yi​(xi​⋅x+1)p+b)
2）高斯核函數：
$K_{(x,z)}=e^{-\frac{||x-z||^{2}}{2\sigma^{2}}}$K(x,z)​=e−2σ2∣∣x−z∣∣2​
對應的支持向量機是高斯徑向基函數分類器。此時，分類決策函數變成：
$f_{(x)}=sign(\mathop{\sum}\limits_{i=1}^{N}\alpha_{i}y_{i}e^{-\frac{||x_{i}-x||^{2}}{2\sigma^{2}}}+b)$f(x)​=sign(i=1∑N​αi​yi​e−2σ2∣∣xi​−x∣∣2​+b)