SVM

時間 2020-06-08

標籤 svm 简体版

原文原文鏈接

SVM

1. 基本概念

支持向量機（Support Vector Machine, SVM）的基本模型是在特徵空間上找到最佳的分離超平面使得訓練集上正負樣本間隔最大。SVM是用來解決二分類問題的有監督學習算法，在引入了核方法以後SVM也能夠用來解決非線性問題。
通常SVM有下面三種：git

硬間隔支持向量機（線性可分支持向量機）：當訓練數據線性可分時，可經過硬間隔最大化學得一個線性可分支持向量機。
軟間隔支持向量機：當訓練數據近似線性可分時，可經過軟間隔最大化學得一個線性支持向量機。
非線性支持向量機：當訓練數據線性不可分時，可經過核方法以及軟間隔最大化學得一個非線性支持向量機。

2. 硬間隔支持向量機

給定訓練樣本集 $D=\{(\vec{x_1},y_1),(\vec{x_2},y_2),\dots,(\vec{x_n},y_n)\}$ ， $y_i\in\{+1,-1\}$ ， $i$ 表示第 $i$ 個樣本， $n$ 表示樣本容量。分類學習最基本的想法就是基於訓練集 $D$ 在特徵空間中找到一個最佳劃分超平面將正負樣本分開，而SVM算法解決的就是如何找到最佳超平面的問題。超平面可經過以下的線性方程來描述：github

\begin{matrix} (1) & {\vec{w}}^{T} \vec{x} + b = 0 \end{matrix}

$\vec{w}^T\vec{x}+b=0\tag{1}$ 其中

\vec{w}

$\vec{w}$ 表示法向量，決定了超平面的方向；

b

$b$ 表示偏移量，決定了超平面與原點之間的距離。
對於訓練數據集

D

$D$ 假設找到了最佳超平面

\vec{w^{*}} \vec{x} + b^{*} = 0

$\vec{w^*}\vec{x}+b^*=0$ ，定義決策分類函數

\begin{matrix} (2) & f (\vec{x}) = s i g n (\vec{w^{*}} \vec{x} + b^{*}) \end{matrix}

$f(\vec{x})=sign(\vec{w^*}\vec{x}+b^*)\tag{2}$ 該分類決策函數也稱爲線性可分支持向量機。
在測試時對於線性可分支持向量機能夠用一個樣本離劃分超平面的距離來表示分類預測的可靠程度，若是樣本離劃分超平面越遠則對該樣本的分類越可靠，反之就不那麼可靠。
那麼，什麼樣的劃分超平面是最佳超平面呢？
對於圖1有A、B、C三個超平面，很明顯應該選擇超平面B，也就是說超平面首先應該能知足將兩類樣本點分開。

圖1

對於圖2的A、B、C三個超平面，應該選擇超平面C，由於使用超平面C進行劃分對訓練樣本局部擾動的「容忍」度最好，分類的魯棒性最強。例如，因爲訓練集的侷限性或噪聲的干擾，訓練集外的樣本可能比圖2中的訓練樣本更接近兩個類目前的分隔界，在分類決策的時候就會出現錯誤，而超平面C受影響最小，也就是說超平面C所產生的分類結果是最魯棒性的、是最可信的，對未見樣本的泛化能力最強。

圖2

下面以圖3中示例進行推導得出最佳超平面。

圖3

空間中超平面可記爲

(\vec{w}, b)

$(\vec{w},b)$ ，根據點到平面的距離公式，空間中任意點

\vec{x}

$\vec{x}$ 到超平面

(\vec{w}, b)

$(\vec{w},b)$ 的距離可寫爲：

\begin{matrix} (3) & r = \frac{\vec{w} \vec{x} + b}{| | \vec{w} | |} \end{matrix}

$r=\frac{\vec{w}\vec{x}+b}{||\vec{w}||}\tag{3}$ 假設超平面

(\vec{w}, b)

$(\vec{w},b)$ 能將訓練樣本正確分類，那麼對於正樣本一側的任意一個樣本

(\vec{x_{i}}, y_{i}) \in D

$(\vec{x_i},y_i)\in{D}$ ，應該須要知足該樣本點往超平面的法向量

\vec{w}

$\vec{w}$ 的投影到原點的距離大於必定值

c

$c$ 的時候使得該樣本點被預測爲正樣本一類，即存在數值

c

$c$ 使得當

{\vec{w}}^{T} \vec{x_{i}} > c

$\vec{w}^T\vec{x_i}>c$ 時

y_{i} = + 1

$y_i=+1$ 。

{\vec{w}}^{T} \vec{x_{i}} > c

$\vec{w}^T\vec{x_i}>c$ 又可寫爲

{\vec{w}}^{T} \vec{x_{i}} + b > 0

$\vec{w}^T\vec{x_i}+b>0$ 。在訓練的時候咱們要求限制條件更嚴格點以使最終獲得的分類器魯棒性更強，因此咱們要求

{\vec{w}}^{T} \vec{x_{i}} + b > 1

$\vec{w}^T\vec{x_i}+b>1$ 。也能夠寫爲大於其它距離，但均可以經過同比例縮放

\vec{w}

$\vec{w}$ 和

b

$b$ 來使得使其變爲1，所以爲計算方便這裏直接選擇1。一樣對於負樣本應該有

{\vec{w}}^{T} \vec{x_{i}} + b < - 1

$\vec{w}^T\vec{x_i}+b<-1$ 時

y_{i} = - 1

$y_i=-1$ 。即：

\begin{matrix} (4) & {\begin{cases} {\vec{w}}^{T} \vec{x_{i}} + b \geq + 1, & y_{i} = + 1 \\ {\vec{w}}^{T} \vec{x_{i}} + b \leq - 1, & y_{i} = - 1 \end{cases} \end{matrix}

$\begin{cases} \vec{w}^T\vec{x_i}+b\geq+1, & y_i=+1 \\ \vec{w}^T\vec{x_i}+b\leq-1, & y_i=-1 \end{cases}\tag{4}$ 亦即：

\begin{matrix} (5) & y_{i} ({\vec{w}}^{T} \vec{x_{i}} + b) \geq + 1 \end{matrix}

$y_i(\vec{w}^T\vec{x_i}+b)\geq+1\tag{5}$ 如圖3所示，距離最佳超平面

\vec{w} \vec{x} + b = 0

$\vec{w}\vec{x}+b=0$ 最近的幾個訓練樣本點使上式中的等號成立，它們被稱爲「支持向量」（support vector）。記超平面

\vec{w} \vec{x} + b = + 1

$\vec{w}\vec{x}+b=+1$ 和

\vec{w} \vec{x} + b = - 1

$\vec{w}\vec{x}+b=-1$ 之間的距離爲

γ

$\gamma$ ，該距離又被稱爲「間隔」（margin），SVM的核心之一就是想辦法將「間隔」

γ

$\gamma$ 最大化。下面咱們推導一下

γ

$\gamma$ 與哪些因素有關：
記超平面

\vec{w} \vec{x} + b = + 1

$\vec{w}\vec{x}+b=+1$ 上的正樣本爲

\vec{x_{+}}

$\vec{x_+}$ ，超平面

\vec{w} \vec{x} + b = - 1

$\vec{w}\vec{x}+b=-1$ 上的負樣本爲

\vec{x_{-}}

$\vec{x_-}$ ，則根據向量的加減法規則

\vec{x_{+}}

$\vec{x_+}$ 減去

\vec{x_{-}}

$\vec{x_-}$ 獲得的向量在最佳超平面的法向量

\vec{w}

$\vec{w}$ 方向的投影即爲「間隔」

γ

$\gamma$ ：

\begin{matrix} (6) & γ = (\vec{x_{+}} - \vec{x_{-}}) \frac{\vec{w}}{| | \vec{w} | |} = \frac{\vec{x_{+}} \vec{w}}{| | \vec{w} | |} - \frac{\vec{x_{-}} \vec{w}}{| | \vec{w} | |} \end{matrix}

$\gamma=(\vec{x_+}-\vec{x_-})\frac{\vec{w}}{||\vec{w}||}=\frac{\vec{x_+}\vec{w}}{||\vec{w}||}-\frac{\vec{x_-}\vec{w}}{||\vec{w}||}\tag{6}$ 而

\vec{w} \vec{x_{+}} + b = + 1

$\vec{w}\vec{x_+}+b=+1$ ，

\vec{w} \vec{x_{-}} + b = - 1

$\vec{w}\vec{x_-}+b=-1$ ，即：

\begin{matrix} (7) & {\begin{cases} \vec{w} \vec{x_{+}} = 1 - b \\ \vec{w} \vec{x_{+}} = - 1 - b \end{cases} \end{matrix}

$\begin{cases} \vec{w}\vec{x_+}=1-b \\ \vec{w}\vec{x_+}=-1-b \end{cases}\tag{7}$
將(7)帶入(6)可得：

\begin{matrix} (8) & γ = \frac{2}{| | \vec{w} | |} \end{matrix}

$\gamma=\frac{2}{||\vec{w}||}\tag{8}$ 也就是說使兩類樣本距離最大的因素僅僅和最佳超平面的法向量有關！
要找到具備「最大間隔」（maximum margin）的最佳超平面，就是找到能知足式(4)中約束的參數

\vec{w}

$\vec{w}$ 、

b

$b$ 使得

γ

$\gamma$ 最大，即：

\begin{matrix} (9) & {\begin{cases} max_{\vec{w}, b} \frac{2}{| | \vec{w} | |} \\ s . t . y_{i} ({\vec{w}}^{T} \vec{x_{i}} + b) \geq + 1, i = 1, 2, \dots, n \end{cases} \end{matrix}

$\begin{cases} \max_{\vec{w},b}\frac{2}{||\vec{w}||} \\ s.t.\quad y_i(\vec{w}^T\vec{x_i}+b)\geq+1, i=1,2,\dots,n \end{cases}\tag{9}$ 顯然(9)等價於

\begin{matrix} (10) & {\begin{cases} min_{\vec{w}, b} \frac{1}{2} | | \vec{w} | |^{2} \\ s . t . y_{i} ({\vec{w}}^{T} \vec{x_{i}} + b) \geq + 1, i = 1, 2, \dots, n \end{cases} \end{matrix}

$\begin{cases} \min_{\vec{w},b}\frac{1}{2}||\vec{w}||^2 \\ s.t.\quad y_i(\vec{w}^T\vec{x_i}+b)\geq+1, i=1,2,\dots,n \end{cases}\tag{10}$ 這就是SVM的基本型。

2.1 拉格朗日對偶問題

根據SVM的基本型求解出 $\vec{w}$ 和 $b$ 便可獲得最佳超平面對應的模型：web

\begin{matrix} (11) & f (\vec{x}) = s i g n (\vec{w} \vec{x} + b) \end{matrix}

$f(\vec{x})=sign(\vec{w}\vec{x}+b)\tag{11}$ 該求解問題自己是一個凸二次規劃（convex quadratic propgramming）問題，能夠經過開源的優化計算包進行求解，可是這樣就沒法體現SVM的精髓，咱們能夠將該凸二次規劃問題經過拉格朗日對偶性來解決。
對於式(10)的每條約束添加拉格朗日乘子

α_{i} \geq 0

$\color{red}{\alpha_i}\geq0$ ，則該問題的拉格朗日函數可寫爲：

\begin{matrix} (12) & L (\vec{w}, b, \vec{α}) = \frac{1}{2} | | \vec{w} | |^{2} - \sum_{i = 1}^{n} α_{i} (y_{i} ({\vec{w}}^{T} x_{i} + b) - 1) \end{matrix}

$L(\vec{w},b,\vec{\alpha})=\frac{1}{2}||\vec{w}||^2-\sum_{i=1}^{n}{\alpha_i(y_i(\vec{w}^Tx_i+b)-1)}\tag{12}$ 其中

\vec{α} = (α_{1}, α_{2}, \dots, α_{n})

$\vec{\alpha}=(\alpha_1,\alpha_2,\dots,\alpha_n)$ 分別是對應着各個樣本的拉格朗日乘子。
將

L (\vec{w}, b, \vec{α})

$L(\vec{w},b,\vec{\alpha})$ 對

\vec{w}

$\vec{w}$ 和

b

$b$ 求偏導並將偏導數等於零可得：

\begin{matrix} (13) & {\begin{cases} \vec{w} = \sum_{i = 1}^{n} α_{i} y_{i} \vec{x_{i}} \\ \sum_{i = 1}^{n} α_{i} y_{i} = 0 \end{cases} \end{matrix}

$\begin{cases} \vec{w}=\sum_{i=1}^{n}{\alpha_iy_i\vec{x_i}}\\ \sum_{i=1}^{n}{\alpha_iy_i}=0 \end{cases}\tag{13}$ 將(13)帶入(12)消去

\vec{w}

$\vec{w}$ 和

b

$b$ 就可獲得(10)的對偶問題：

\begin{matrix} (14) & {\begin{cases} max_{α} \sum_{i = 1}^{n} α_{i} - \frac{1}{2} \sum_{i = 1}^{n} \sum_{j = 1}^{n} α_{i} α_{j} y_{i} y_{j} {\vec{x_{i}}}^{T} \vec{x_{j}} \\ s . t . α_{i} \geq 0, i = 1, 2, \dots, n \\ \sum_{i = 1}^{n} α_{i} y_{i} = 0 \end{cases} \end{matrix}

$\begin{cases} \max_\alpha{\sum_{i=1}^{n}\alpha_i-\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_i\alpha_jy_iy_j\vec{x_i}^T\vec{x_j}}\\ s.t.\quad \alpha_i\geq0,i=1,2,\dots,n \\ \quad\quad\quad \sum_{i=1}^{n}\alpha_iy_i=0 \end{cases}\tag{14}$ 由(14)可知咱們並不關心單個樣本是如何的，咱們只關心樣本間兩兩的乘積，這也爲後面核方法提供了很大的便利。
求解出

\vec{α}

$\vec{\alpha}$ 以後，再求解出

\vec{w}

$\vec{w}$ 和

b

$b$ 便可獲得SVM決策模型：

\begin{matrix} (15) & f (\vec{x}) = {\vec{w}}^{T} \vec{x} + b = \sum_{i = 1}^{n} α_{i} y_{i} {\vec{x_{i}}}^{T} \vec{x} + b \end{matrix}

$f(\vec{x})=\vec{w}^T\vec{x}+b=\sum_{i=1}^{n}\alpha_iy_i\vec{x_i}^T\vec{x}+b\tag{15}$

2.2 SVM問題的KKT條件

在(10)中有不等式約束，所以上述過程知足Karush-Kuhn-Tucker(KKT)條件：算法

\begin{matrix} (16) & {\begin{cases} α_{i} \geq 0 \\ y_{i} ({\vec{w}}^{T} \vec{x} + b) - 1 \geq 0, i = 1, 2, \dots, n \\ α_{i} (y_{i} ({\vec{w}}^{T} \vec{x} + b) - 1) = 0 \end{cases} \end{matrix}

$\begin{cases} \alpha_i\geq0 \\ y_i(\vec{w}^T\vec{x}+b)-1\geq0 \quad\quad ,\quad i=1,2,\dots,n\\ \alpha_i(y_i(\vec{w}^T\vec{x}+b)-1)=0 \end{cases}\tag{16}$ 對於任意樣本

(\vec{x_{i}}, y_{i})

$(\vec{x_i},y_i)$ 總有

α_{i} = 0

$\alpha_i=0$ 或

y_{i} ({\vec{w}}^{T} \vec{x} + b) - 1 = 0

$y_i(\vec{w}^T\vec{x}+b)-1=0$ 。若是

α_{i} = 0

$\alpha_i=0$ 則由式(15)可知該樣本點對求解最佳超平面沒有任何影響。當

α_{i} > 0

$\alpha_i>0$ 時必有

y_{i} ({\vec{w}}^{T} \vec{x} + b) - 1 = 0

$y_i(\vec{w}^T\vec{x}+b)-1=0$ ，代表對應的樣本點在最大間隔邊界上，即對應着支持向量。也由此得出了SVM的一個重要性質：訓練完成以後，大部分的訓練樣本都不須要保留，最終的模型僅與支持向量有關。
那麼對於式(14)該如何求解

\vec{α}

$\vec{\alpha}$ 呢？很明顯這是一個二次規劃問題，可以使用通用的二次規劃算法來求解，可是SVM的算法複雜度是

O (n^{2})

$O(n^2)$ ，在實際問題中這種開銷太大了。爲了有效求解該二次規劃問題，人們經過利用問題自己的特性，提出了不少高效算法，Sequential Minimal Optimization(SMO)就是一個經常使用的高效算法。在利用SMO算法進行求解的時候就須要用到上面的KKT條件。利用SMO算法求出

\vec{α}

$\vec{\alpha}$ 以後根據：

\begin{matrix} (17) & {\begin{cases} \vec{w} = \sum_{i = 1}^{n} α_{i} y_{i} \vec{x_{i}} \\ y_{i} ({\vec{w}}^{T} \vec{x} + b) - 1 = 0 \end{cases} \end{matrix}

$\begin{cases} \vec{w}=\sum_{i=1}^{n}{\alpha_iy_i\vec{x_i}}\\ y_i(\vec{w}^T\vec{x}+b)-1=0 \end{cases}\tag{17}$ 便可求出

\vec{w}

$\vec{w}$ 和

b

$b$ 。求解出

\vec{w}

$\vec{w}$ 和

b

$b$ 以後就可利用

\begin{matrix} (18) & f (\vec{x}) = s i g n ({\vec{w}}^{T} \vec{x} + b) \end{matrix}

$f(\vec{x})=sign(\vec{w}^T\vec{x}+b)\tag{18}$ 進行預測分類了，注意在測試的時候不須要

- 1

$-1$ ，測試時沒有訓練的時候要求嚴格。

3. 軟間隔支持向量機

在現實任務中很難找到一個超平面將不一樣類別的樣本徹底劃分開，即很難找到合適的核函數使得訓練樣本在特徵空間中線性可分。退一步說，即便找到了一個可使訓練集在特徵空間中徹底分開的核函數，也很難肯定這個線性可分的結果是否是因爲過擬合致使的。解決該問題的辦法是在必定程度上運行SVM在一些樣本上出錯，爲此引入了「軟間隔」（soft margin）的概念，如圖4所示：網絡

圖4

具體來講，硬間隔支持向量機要求全部的樣本均被最佳超平面正確劃分，而軟間隔支持向量機容許某些樣本點不知足間隔大於等於1的條件

y_{i} (\vec{w} \vec{x_{i}} + b) \geq 1

$y_i(\vec{w}\vec{x_i}+b)\geq1$ ，固然在最大化間隔的時候也要限制不知足間隔大於等於1的樣本的個數使之儘量的少。因而咱們引入一個懲罰係數

C > 0

$C>0$ ，並對每一個樣本點

(\vec{x_{i}}, y_{i})

$(\vec{x_i},y_i)$ 引入一個鬆弛變量（slack variables）

ξ \geq 0

$\xi\geq0$ ，此時可將式(10)改寫爲

\begin{matrix} (19) & {\begin{cases} min_{\vec{w}, b} (\frac{1}{2} | | \vec{w} | |^{2} + C \sum_{i = 1}^{n} ξ_{i}) \\ s . t . y_{i} ({\vec{w}}^{T} \vec{x_{i}} + b) \geq 1 - ξ_{i}, i = 1, 2, \dots, n \\ ξ_{i} \geq 0 \end{cases} \end{matrix}

$\begin{cases} \min_{\vec{w},b}(\frac{1}{2}||\vec{w}||^2+C\sum_{i=1}^{n}\xi_i) \\ s.t.\quad y_i(\vec{w}^T\vec{x_i}+b)\geq1-\xi_i \quad ,i=1,2,\dots,n\\ \quad\quad \xi_i\geq0 \end{cases}\tag{19}$ 上式中約束條件改成

y_{i} (\vec{w} \vec{x_{i}} + b) \geq 1 - ξ_{i}

$y_i(\vec{w}\vec{x_i}+b)\geq1-\xi_i$ ，表示間隔加上鬆弛變量大於等於1；優化目標改成

min_{\vec{w}, b} (\frac{1}{2} | | \vec{w} | |^{2} + C \sum_{i = 1}^{n} ξ_{i})

$\min_{\vec{w},b}(\frac{1}{2}||\vec{w}||^2+C\sum_{i=1}^{n}\xi_i)$ 表示對每一個鬆弛變量都要有一個代價損失

C ξ_{i}

$C\xi_i$ ，

C

$C$ 越大對誤分類的懲罰越大、

C

$C$ 越小對誤分類的懲罰越小。
式(19)是軟間隔支持向量機的原始問題。能夠證實

\vec{w}

$\vec{w}$ 的解是惟一的，

b

$b$ 的解不是惟一的，

b

$b$ 的解是在一個區間內。假設求解軟間隔支持向量機間隔最大化問題獲得的最佳超平面是

\vec{w^{*}} \vec{x} + b^{*} = 0

$\vec{w^*}\vec{x}+b^*=0$ ，對應的分類決策函數爲

\begin{matrix} (20) & f (\vec{x}) = s i g n (\vec{w^{*}} \vec{x} + b^{*}) \end{matrix}

$f(\vec{x})=sign(\vec{w^*}\vec{x}+b^*)\tag{20}$

f (\vec{x})

$f(\vec{x})$ 稱爲軟間隔支持向量機。
相似式(12)利用拉格朗日乘子法可獲得上式的拉格朗日函數

\begin{matrix} (21) & L (\vec{w}, b, \vec{α}, \vec{ξ}, \vec{μ}) = \frac{1}{2} | | \vec{w} | |^{2} + C \sum_{i = 1}^{n} ξ_{i} - \sum_{i = 1}^{n} α_{i} (y_{i} ({\vec{w}}^{T} \vec{x_{i}} + b) - 1 + ξ_{i}) - \sum_{i = 1}^{n} μ_{i} ξ_{i} \end{matrix}

$L(\vec{w},b,\vec{\alpha},\vec{\xi},\vec{\mu})=\frac{1}{2}||\vec{w}||^2+C\sum_{i=1}^{n}\xi_i-\sum_{i=1}^{n}\alpha_i(y_i(\vec{w}^T\vec{x_i}+b)-1+\xi_i)-\sum_{i=1}^{n}\mu_i\xi_i\tag{21}$ 其中

α_{i} \geq 0

$\alpha_i\geq0$ 、

μ_{i} \geq 0

$\mu_i\geq0$ 是拉格朗日乘子。
令

L (\vec{w}, b, \vec{α}, \vec{ξ}, \vec{μ})

$L(\vec{w},b,\vec{\alpha},\vec{\xi},\vec{\mu})$ 分別對

\vec{w}

$\vec{w}$ ，

b

$b$ ，

\vec{ξ}

$\vec{\xi}$ 求偏導並將偏導數爲零可得：

\begin{matrix} (22) & {\begin{cases} \vec{w} = \sum_{i = 1}^{n} α_{i} y_{i} \vec{x_{i}} \\ \sum_{i = 1}^{n} α_{i} y_{i} = 0 \\ C = α_{i} + μ_{i} \end{cases} \end{matrix}

$\begin{cases} \vec{w}=\sum_{i=1}^{n}\alpha_iy_i\vec{x_i}\\ \sum_{i=1}^{n}\alpha_iy_i=0\\ C=\alpha_i+\mu_i \end{cases}\tag{22}$ 將式(22)帶入式(21)即可獲得式(19)的對偶問題：

\begin{matrix} (23) & {\begin{cases} max_{\vec{α}} \sum_{i = 1}^{n} α_{i} - \frac{1}{2} \sum_{i = 1}^{n} \sum_{j = 1}^{n} α_{i} α_{j} y_{i} y_{j} {\vec{x_{i}}}^{T} \vec{x_{j}} \\ s . t . \sum_{i = 1}^{n} α_{i} y_{i} = 0, i = 1, 2, \dots, n \\ 0 \leq α_{i} \leq C \end{cases} \end{matrix}

$\begin{cases} \max_{\vec\alpha}\sum_{i=1}^{n}\alpha_i-\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_i\alpha_jy_iy_j\vec{x_i}^T\vec{x_j}\\ s.t. \quad\quad\sum_{i=1}^{n}\alpha_iy_i=0\quad\quad,i=1,2,\dots,n\\ \quad\quad\quad 0\leq\alpha_i\leq C \end{cases}\tag{23}$ 對比軟間隔支持向量機的對偶問題和硬間隔支持向量機的對偶問題可發現兩者的惟一差異就在於對偶變量的約束不一樣，軟間隔支持向量機對對偶變量的約束是

0 \leq α_{i} \leq C

$0 \leq \alpha_i \leq C$ ，硬間隔支持向量機對對偶變量的約束是

0 \leq α_{i}

$0\leq\alpha_i$ ，因而可採用和硬間隔支持向量機相同的解法求解式(23)。同理在引入核方法以後一樣能獲得與式(23)一樣的支持向量展開式。
相似式(16)對於軟間隔支持向量機，KKT條件要求：

\begin{matrix} (24) & {\begin{cases} α_{i} \geq 0, μ_{i} \geq 0 \\ y_{i} (\vec{w} \vec{x} + b) - 1 + ξ_{i} \geq 0 \\ α_{i} (y_{i} (\vec{w} \vec{x} + b) - 1 + ξ_{i}) = 0 \\ ξ_{i} \geq 0, μ_{i} ξ_{i} = 0 \end{cases} \end{matrix}

$\begin{cases} \alpha_i\geq0,\mu_i\geq0\\ y_i(\vec{w}\vec{x}+b)-1+\xi_i\geq0\\ \alpha_i(y_i(\vec{w}\vec{x}+b)-1+\xi_i)=0\\ \xi_i\geq0,\mu_i\xi_i=0 \end{cases}\tag{24}$ 同硬間隔支持向量機相似，對任意訓練樣本

(\vec{x_{i}}, y_{i})

$(\vec{x_i},y_i)$ ，總有

α_{i} = 0

$\alpha_i=0$ 或

y_{i} (\vec{w} \vec{x} + b - 1 + ξ_{i})

$y_i(\vec{w}\vec{x}+b-1+\xi_i)$ ，若

α_{i} = 0

$\alpha_i=0$ ，則該樣本不會對最佳決策面有任何影響；若

α_{i} > 0

$\alpha_i>0$ 則必有

y_{i} (\vec{w} \vec{x} + b) = 1 - ξ_{i}

$y_i(\vec{w}\vec{x}+b)=1-\xi_i$ ，也就是說該樣本是支持向量。由式(22)可知若

α_{i} < C

$\alpha_i<C$ 則

μ_{i} > 0

$\mu_i>0$ 進而有

ξ_{i} = 0

$\xi_i=0$ ，即該樣本處在最大間隔邊界上；若

α_{i} = C

$\alpha_i=C$ 則

μ_{i} = 0

$\mu_i=0$ 此時若是

x i_{i} \leq 1

$xi_i\leq1$ 則該樣本處於最大間隔內部，若是

ξ_{i} > 1

$\xi_i>1$ 則該樣本處於最大間隔外部即被分錯了。由此也可看出，軟間隔支持向量機的最終模型僅與支持向量有關。

4. 非線性支持向量機

現實任務中原始的樣本空間 $D$ 中極可能並不存在一個能正確劃分兩類樣本的超平面。例如圖4中所示的問題就沒法找到一個超平面將兩類樣本進行很好的劃分。
對於這樣的問題能夠經過將樣本從原始空間映射到特徵空間使得樣本在映射後的特徵空間裏線性可分。例如對圖5作特徵映射 $z=x^2+y^2$ 可獲得如圖6所示的樣本分佈，這樣就很好進行線性劃分了。app

圖5

圖6

令

ϕ (\vec{x})

$\phi(\vec{x})$ 表示將樣本點

\vec{x}

$\vec{x}$ 映射後的特徵向量，相似於線性可分支持向量機中的表示方法，在特徵空間中劃分超平面所對應的模型可表示爲

\begin{matrix} (25) & f (\vec{x}) = {\vec{w}}^{T} x + b \end{matrix}

$f(\vec{x})=\vec{w}^Tx+b\tag{25}$ 其中

\vec{w}

$\vec{w}$ 和

b

$b$ 是待求解的模型參數。相似式(10)，有

\begin{matrix} (26) & {\begin{cases} min_{\vec{w}, b} \frac{1}{2} | | \vec{w} | |^{2} \\ s . t . y_{i} ({\vec{w}}^{T} ϕ (\vec{x}) + b) \geq 1, i = 1, 2, \dots, n \end{cases} \end{matrix}

$\begin{cases} \min_{\vec{w},b}\frac{1}{2}||\vec{w}||^2\\ s.t. \quad y_i(\vec{w}^T\phi(\vec{x})+b)\geq1\quad,i=1,2,\dots,n \end{cases}\tag{26}$ 其拉格朗日對偶問題是

\begin{matrix} (27) & {\begin{cases} max_{α} \sum_{i = 1}^{n} α_{i} - \frac{1}{2} \sum_{i = 1}^{n} \sum_{j = 1}^{n} α_{i} α_{j} y_{i} y_{j} ϕ ({\vec{x_{i}}}^{T}) ϕ (\vec{x_{j}}) \\ s . t . α_{i} \geq 0, i = 1, 2, \dots, n \\ \sum_{i = 1}^{n} α_{i} y_{i} = 0 \end{cases} \end{matrix}

$\begin{cases} \max_\alpha{\sum_{i=1}^{n}\alpha_i-\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_i\alpha_jy_iy_j\phi(\vec{x_i}^T)\phi(\vec{x_j})}\\ s.t.\quad \alpha_i\geq0\quad\quad\quad,i=1,2,\dots,n \\ \quad\quad\quad \sum_{i=1}^{n}\alpha_iy_i=0 \end{cases}\tag{27}$ 求解(27)須要計算

ϕ ({\vec{x_{i}}}^{T}) ϕ (\vec{x_{j}})

$\phi(\vec{x_i}^T)\phi(\vec{x_j})$ ，即樣本映射到特徵空間以後的內積，因爲特徵空間可能維度很高，甚至多是無窮維，所以直接計算

ϕ ({\vec{x_{i}}}^{T}) ϕ (\vec{x_{j}})

$\phi(\vec{x_i}^T)\phi(\vec{x_j})$ 一般是很困難的，在上文中咱們提到其實咱們根本不關心單個樣本的表現，只關心特徵空間中樣本間兩兩的乘積，所以咱們沒有必要把原始空間的樣本一個個地映射到特徵空間中，只須要想法辦求解出樣本對應到特徵空間中樣本間兩兩的乘積便可。爲了解決該問題可設想存在覈函數：

\begin{matrix} (28) & κ (\vec{x_{i}}, \vec{x_{j}}) = ϕ ({\vec{x_{i}}}^{T}) ϕ (\vec{x_{j}}) \end{matrix}

$\kappa(\vec{x_i},\vec{x_j})=\phi(\vec{x_i}^T)\phi(\vec{x_j})\tag{28}$ 也就是說

\vec{x_{i}}

$\vec{x_i}$ 與

\vec{x_{j}}

$\vec{x_j}$ 在特徵空間的內積等於它們在原始空間中經過函數

κ (\cdot, \cdot)

$\kappa(\cdot,\cdot)$ 計算的結果，這給求解帶來很大的方便。因而式(27)可寫爲：

\begin{matrix} (29) & {\begin{cases} max_{α} \sum_{i = 1}^{n} α_{i} - \frac{1}{2} \sum_{i = 1}^{n} \sum_{j = 1}^{n} α_{i} α_{j} y_{i} y_{j} κ (\vec{x_{i}}, \vec{x_{j}}) \\ s . t . α_{i} \geq 0, i = 1, 2, \dots, n \\ \sum_{i = 1}^{n} α_{i} y_{i} = 0 \end{cases} \end{matrix}

$\begin{cases} \max_\alpha{\sum_{i=1}^{n}\alpha_i-\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_i\alpha_jy_iy_j\kappa(\vec{x_i},\vec{x_j})}\\ s.t.\quad \alpha_i\geq0\quad\quad\quad,i=1,2,\dots,n \\ \quad\quad\quad \sum_{i=1}^{n}\alpha_iy_i=0 \end{cases}\tag{29}$ 一樣的咱們只關心在高維空間中樣本之間兩兩點乘的結果而不關心樣本是如何變換到高維空間中去的。求解後便可獲得

\begin{matrix} (30) & f (\vec{x}) = {\vec{w}}^{T} ϕ (\vec{x}) + b = \sum_{i = 1}^{n} α_{i} y_{i} ϕ (\vec{x})^{T} ϕ (\vec{x}) + b = \sum_{i = 1}^{n} α_{i} y_{i} κ (\vec{x_{i}}, \vec{x_{j}}) + b \end{matrix}

$f(\vec{x})=\vec{w}^T\phi(\vec{x})+b=\sum_{i=1}^{n}\alpha_iy_i\phi(\vec{x})^T\phi(\vec{x})+b=\sum_{i=1}^{n}\alpha_iy_i\kappa(\vec{x_i},\vec{x_j})+b\tag{30}$ 剩餘的問題一樣是求解

α_{i}

$\alpha_i$ ，而後求解

\vec{w}

$\vec{w}$ 和

b

$b$ 便可獲得最佳超平面。

支持向量迴歸

支持向量機不只能夠用來解決分類問題還能夠用來解決迴歸問題，稱爲支持向量迴歸（Support Vector Regression，SVR）。
對於樣本 $(\vec{x},y)$ 一般根據模型的輸出 $f(\vec{x})$ 與真實值（即groundtruth） $y_i$ 之間的差異來計算損失，當且僅當 $f(\vec{x})=y_i$ 時損失才爲零。SVR的基本思路是容許預測值 $f(\vec{x})$ 與 $y_i$ 之間最多有 $\varepsilon$ 的誤差，當 $|f(\vec{x})-y_i|\leq\varepsilon$ 時認爲預測正確不計算損失，僅當 $|f(\vec{x})-y_i|>\varepsilon$ 時才計算損失。SVR問題可描述爲：機器學習

\begin{matrix} (31) & min_{\vec{w}, b} (\frac{1}{2} | | \vec{w} | |^{2} + C \sum_{i = 1}^{n} L_{ε} (f (\vec{x}) - y_{i})) \end{matrix}

$\min_{\vec{w},b}(\frac{1}{2}||\vec{w}||^2+C\sum_{i=1}^{n}L_\varepsilon(f(\vec{x})-y_i))\tag{31}$ 其中，

C \geq 0

$C\geq0$ 爲懲罰項，

L_{ε}

$L_\varepsilon$ 爲損失函數，定義爲：

\begin{matrix} (32) & L_{ε} (z) = {\begin{cases} 0 \end{cases} \end{matrix}

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。