機器學習：支持向量機4

本文來自同步博客。

 

前面介紹的SVM，不管是線性可分仍是非線性可分，稱爲Hard Margin SVM，都要求對輸入數據進行精確劃分。咱們不難想到這類SVM存在過擬合這個問題。若是輸入數據自己就存在偏差，精確劃分反而是沒意義的。本篇文章就如何處理過擬合問題，介紹即所謂的Soft Margin SVM。

數學推導

引入衡量偏差的變量 -\xi\_i-−ξ_i−。-\xi\_i-−ξ_i−表示不能被正確分類的樣本點距離正確一側邊界的距離，距離越大表示錯誤越大，即-\xi\_i-−ξ_i−越大。若是樣本點能被正確分類，則-\xi\_i = 0-−ξ_i=0−。故有-\xi\_i \ge 0-−ξ_i≥0−。

那麼，原來能經過求解函數-\frac{1}{2}\vec{w}^{2}-−21​w2−在最小化下的參數-\vec{\alpha}-−α−，現在須要增長可以體現偏差的約束條件再求解。

能夠以下構造函數來描述偏差：
\frac{1}{2}\vec{w}^{2} + C\sum_{i}^{n}{\xi\_i}21​w2+Ci∑n​ξ_i

這個函數把全部輸入數據的偏差疊加在一塊兒，即-\sum_{i}^{n}{\xi\_i}-−∑in​ξ_i−。而後用參數C來控制全部偏差的權重。若是C很大，表示即便有很小的偏差出現都會嚴重影響目標函數。

結合以前文章提到的知識，能夠構造拉格朗日方程：

L(\vec{w}, b, \vec{\xi}, \vec{\alpha}, \vec{\beta}) = \frac{1}{2}\vec{w}^{T}\vec{w} + C\sum_{i}^{n}{\xi\_i} - \sum\_{i}^{n}{\alpha\_i[y\_i(\vec{w}^{T}\vec{x\_i}+b)-1+\xi\_i]} - \sum\_{i}^{n}\beta\_i\xi\_iL(w,b,ξ​,α,β​)=21​wTw+Ci∑n​ξ_i−∑_inα_i[y_i(wTx_i​+b)−1+ξ_i]−∑_inβ_iξ_i
其中，
\alpha\_i \ge 0, \beta\_i \ge 0, i = 1,2...nα_i≥0,β_i≥0,i=1,2...n

而後利用對偶思想求解-\vec{w}, b, \xi-−w,b,ξ−的導數，並讓他們等於0。以下：

\begin{array}{lcl} \frac{\partial L}{\partial \vec{w}} = \vec{w} - \sum\_{i}^{n}\alpha\_{i} y\_{i} \vec{x}\_i = 0 \\\\ \frac{\partial L}{\partial b} = - \sum\_{i}^{n}\alpha\_{i} y\_{i} = 0 \\\\ \frac{\partial L}{\partial \xi\_{i}} = C - \alpha\_{i} - \beta\_{i} = 0 \end{array}∂w∂L​=w−∑_inα_iy_ix_i=0∂b∂L​=−∑_inα_iy_i=0∂ξ_i∂L​=C−α_i−β_i=0​

代入上面的拉格朗日方程，能夠獲得二項規劃方程。最後求解-\vec{\alpha}-−α−，可得-\vec{w}-−w−和-b-−b−。二項規劃方程以下：
公式輸入有誤

其中-\vec{w}-−w−以下：
\vec{w} = \sum\_{i}^{n}\alpha\_{i}y\_{i}\vec{x}\_{i}w=∑_inα_iy_ix_i

-b-−b−可利用落於邊界上的支持向量求解。

比較

看到二項規劃那一步，咱們能夠發現Hard Margin SVM和Soft Margin SVM的差異僅僅是-\alpha\_i-−α_i−的取值範圍上有差別。Hard Margin SVM的約束條件是-\alpha\_i \ge 0-−α_i≥0−；Soft Margin SVM的約束條件是-C \ge \alpha\_i \ge 0-−C≥α_i≥0−。

咱們知道-\alpha\_{i}-−α_i−僅在-\vec{x}-−x−爲支持向量時值大於零。而在這裏，-\alpha\_{i}-−α_i−多了一個上限C。由於-C = \alpha\_{i} + \beta\_{i}-−C=α_i+β_i−，因此有下面結論：

若是-\alpha\_{i} = 0-−α_i=0−，表示該點爲非支持向量。

若是- 0 \lt \alpha\_{i} \lt C-−0<α_i<C−，則-\beta\_{i} \gt 0-−β_i>0−，對應的-\xi\_{i} = 0-−ξ_i=0−，表示該點爲邊界支持向量。以下圖：

 

image.png

 

若是-\alpha\_{i} = C-−α_i=C−，則-\beta\_{i} = 0-−β_i=0−，對應的-\xi\_{i} \gt 0-−ξ_i>0−，表示該點違反了最大邊界的原則，屬於噪聲點。

 

image.png