線性支持向量機（SVM）

文章目錄

• 1. 線性支持向量機（SVM）基本原理
• 1.1 線性SVM要解決的問題
• 1.2 對偶問題

1. 線性支持向量機（SVM）基本原理

1.1 線性SVM要解決的問題

給定訓練樣本集 $D = \{ ( \bm{x_1}, y_1), (\bm{x_2}, y_2), ..., (\bm{x_m}, y_m), y_i \in \{ -1, +1 \} \}$, 支持向量機的基本思想就是基於訓練集 $D$在樣本空間中找到一個超平面，將不一樣類別的樣本分開。可是可以將訓練樣本分開的超平面有不少，咱們應該找哪個呢？

圖1

直觀上看，應該尋找兩類訓練樣本中「正中間」的超平面，即圖1中最粗的線。這條線可以將兩類樣本分隔開，而且對新的樣本泛化能力強，最具魯棒性。
在樣本空間中，超平面能夠用以下線性方程描述：
$\bm{w}^T \bm{x} + b = 0 \tag{1}$

其中 $\bm{w} = (w_1; w_2;,...,w_d)$爲法向量，決定了超平面的方向， $b$爲位移項，決定了超平面與原點之間的距離。咱們將超平面記爲 $(\bm{w}, b)$.
假設超平面 $(\bm{w}, b)$可以將訓練樣本正確分類，即對於 $(\bm{x_i}, y_i) \in D$，若 $y_i = +1$，則有 $\bm{w}^T \bm{x}_i + b > 0$；若 $y_i = -1$，則有 $\bm{w}^T \bm{x}_i + b < 0$。經過縮放，令：
$\left\{ \begin{aligned} \bm{w}^T \bm{x}_i + b \geq +1, y_i = +1 \\ \bm{w}^T \bm{x}_i + b \leq -1, y_i = -1 \\ \end{aligned} \right. \tag{2}$
如圖2所示，距離超平面最近的這幾個點使得式 $(2)$等號成立，它們被稱爲「支持向量」（support vector），兩個異類支持向量到超平面的距離之和爲：
$\gamma = \dfrac{2}{||\bm{w}||}, \tag{3}$

它被稱「間隔」（margin）。

圖2

要找到「最大間隔」（maximum margin）的超平面，也就是要找到知足式 $(2)$中約束參數 $\bm w$和 $b$，使得 $\gamma$最大，即：
$\begin{aligned} & \max \limits_{\bm w, b} \dfrac{2}{||\bm w||} \\ & s.t. \ y_i(\bm{w}^T \bm{x}_i + b) \geq 1, \ i = 1,2,..., m. \\ \end{aligned} \tag{4}$

爲了方便後續的計算，咱們將式 $(4)$重寫爲：
$\begin{aligned} & \min \limits_{\bm w, b} \dfrac{1}{2} ||\bm w||^2\\ & s.t. \ y_i(\bm{w}^T \bm{x}_i + b) \geq 1, \ i = 1,2,..., m. \\ \end{aligned} \tag{5}$

這就是SVM的基本型。

1.2 對偶問題

式（5）是一個凸二次規劃（convex quadratic programming）問題，能直接用現成的優化計算包求解，可是咱們可有用更高效的辦法。對式（5）每條約束添加拉格朗日乘子 $\alpha_i \geq0$，則該問題的拉格朗日函數能夠寫爲：
$L(\bm w, b, \bm \alpha) = \dfrac{1}{2} ||\bm w||^2 + \sum_{i=1}^{m} \alpha_i(1 - y_i(\bm {w}^T \bm {x}_i + b) ) \tag{6}$

其中， $\bm \alpha=(\alpha_1;\alpha_2;...;\alpha_m)$。令 $L(\bm w, b, \bm \alpha)$對 $\bm w$ 和 $b$的偏導爲零可得：
$\bm w = \sum_{i=1}^{m} \alpha_i y_i \bm {x}_i,\tag{7}$

$0 = \sum_{i=1}^{m} \alpha_i y_i ,\tag{8}$

將式（7）和（8）代入式（6）中，獲得式（6）的對偶問題：
$\begin{aligned} & \max_{\bm \alpha} \sum_{i=1}^{m} \alpha_i - \dfrac{1}{2} \sum_{i=1}^{m}\sum_{j=1}^{m} \alpha_i \alpha_j y_i y_i \bm {x}_i^T \bm {x}_j^T \\ \tag{9} & s.t. \ \sum _{i=1}^{m} \alpha_i y_i = 0, \\ & \qquad \alpha_i \geq 0, \ i = 1,2,...,m.\\ \end{aligned}$

求解獲得 $\bm \alpha$後，能夠求得 $\bm w$ 和 $b$，最終獲得分類模型：
$\begin{aligned} f(x) & = \bm {w}^T \bm {x} + b \\ & = \sum_{i=1}^{m} \alpha_i y_i \bm {x}_i^T \bm x + b . \end{aligned} \tag{10}$

上述過程須要知足KKT條件（Karush-Kuhn-Tucher），即求：
$\left\{ \begin{aligned} \alpha_i \geq 0; \\ y_i f(\bm {x}_i) - 1 \geq 0; \\ \alpha_i (y_i f(\bm {x}_i) - 1) \geq 0; \\ \end{aligned} \right. \tag{11}$

因而，對於任意訓練樣本 $(\bm {x}_i, y_i)$，總有 $\alpha_i = 0$ 或 $y_i f(\bm {x}_i) = 1$。若 $\alpha_i = 0$，則該樣本不會再式（10）中出現，也就不會對分類器有任何影響；若 $\alpha_i \geq 0$，則必有 $y_i f(\bm {x}_i) = 1$，所對應的樣本點位於最大間隔邊界上，是一個支持向量。所以，最終模型僅與支持向量有關。