支持向量機（SVM）——斯坦福CS229機器學習我的總結（三）

鑑於我剛開始學習支持向量機（Support vector machines，簡稱SVM）時的一臉懵逼，我認爲有必要先給出一些SVM的定義。

下面是一個最簡單的SVM：

圖一

• 分類算法：支持向量機（SVM）是一個分類算法（機器學習中常常把算法稱爲一個「機器」），它的目標是找到圖中實線所表示的決策邊界，也稱爲超平面（Hyperplane）
• 支持向量（Support vectors）：支持向量就是圖中虛線穿過的數據點（兩個×與一個O），直觀上來看，它們肯定了超平面的位置——超平面與過同一類的兩個支持向量（兩個×）的直線平行，而且兩類支持向量到超平面的距離相等
• 與logistic迴歸的對比：SVM與logistic迴歸用的是相同的模型，可是處理方式不同——logistic迴歸用機率的方式求解模型（最大似然估計），SVM從幾何的角度解析；另外在logistic迴歸中，每個數據點都會對分類平面產生影響，在SVM中它卻只關注支持向量（若是支持向量無變化，增長或者刪除一些遠處的數據點，產生的超平面仍是同樣的）——因此產生了這兩個不一樣的算法，可是它們仍是比較類似的

明明是SVM算法卻在這裏提到logistic迴歸模型是爲了做爲源頭引出SVM的推導，至於更深的背景，好比SVM被認爲幾乎是最好的監督學習啦，SVM是創建在統計學習理論的VC 維理論和結構風險最小原理基礎上的啦，SVM做爲統計機器學習與傳統機器學習的本質區別啦……目前的我尚未造成一個總體的、完善的認識，雖然下一份總結裏就要說到學習理論與結構風險最小化，可是對於海面之下的冰山，我暫時還無法看到。在這裏我只是想老老實實地把SVM從推導，到轉換與優化，到最後求解的過程作一個總結寫下來。

還須要說明的是，圖一是最簡單的SVM，它是線性可分的，而且從圖一上來看它是沒有噪點的，第一章「SVM的推導」能夠把這個漂亮的線性可分的模型推導出來。
可是實際的狀況不可能這麼完美。當數據線性不可分的時候，咱們須要引入核函數在更高維的空間裏去尋找這個超平面（數據在更高維的空間裏會更加線性可分）；當噪點存在的時候，咱們引入軟間隔分類器，這時候在支持向量附近，容許有一些噪點被分錯，即容許偏差的存在。而這兩點都是在將目標函數轉化爲對偶問題以後實現的。這些都會在第二章「SVM轉換與優化」中介紹。

一、SVM的推導

1.一、起源

SVM與logistic迴歸使用了相同的模型，如今讓咱們來回顧一下熟悉的logistic迴歸模型：

$$h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}\tag{1}$$
其中：
$$g(z)=\frac{1}{1+e^{-z}}\tag{2}$$
而且其圖像以下圖：

圖二
圖像的輸出是「分類結果 $g(z)$是1的 機率」，它的取值範圍是 $(0,1)$，通常來講以0.5爲界，當 $g(z)$是1的機率大於0.5的時候，把 $x$分類爲1，當 $g(z)$是1的機率小於0.5的時候，把 $x$分類爲0，這樣，雖然它的直接輸出是 $(0,1)$之間的機率，卻有感知器那樣的分類效果。
同時能夠看到當 $z$在0附近時，輸出機率在0.5附件徘徊，並且比較敏感，可是當 $z=\theta^Tx>>0$時它的輸出很接近1，當 $z=\theta^Tx<<0$時它的輸出很接近0。因此若是咱們可以讓 $z>>0$或者 $z<<0$，咱們就會更加確信這個樣本被正確分類了。
換句話說，若是把 $z=0$這條直線當作決策邊界，那麼數據點 $z$距離這條直線越遠，就越不可能被分錯。
SVM就是從幾何的角度，在這方面下功夫的。

下面是在logistic迴歸模型下，由於SVM這個算法的特色而引發的符號改變：

$$y=h_\theta(x)=g(\theta^Tx)=g(w^Tx+b)=h_{w,b}(x)\tag{3}$$
直觀點的改變是：
$$\theta^Tx=\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n=b+w_1x_1+w_2x_2+\cdots+w_nx_n=w^Tx+b\tag{4}$$
截距b就是截距 $\theta_0$，向量 $w$就是除了 $\theta_0$外，剩下的向量 $\theta$，並且這裏的向量 $x$應該是差了一個 $x_0=1$（ $x_\theta,\theta \in R^{n+1}$， $x_w,w \in R^{n}$），可是不影響…它們表達的意思是同樣的，只是換了些符號而已。
另外，這裏的 $g(z)$再也不是式（2）中的形式，而是：
$$g(z)=\left\{\begin{array}\\1 &if(z\geq 0)\\-1&if(z< 0)\end{array}\right.\tag{5}$$
恩…長得很像感知器。
式（3）與式（5）就是SVM模型了，參數是 $\theta$與 $b$，當這兩個參數肯定了，咱們就能夠作出分類超平面，對數據進行分類。

對同一個模型，logistic模型用機率的方式求解，下面就要引入函數間隔與幾何間隔來從幾何的角度來解析SVM了。

1.二、函數間隔（Functional margins）與幾何間隔（Geometric margins）

給定一個訓練樣本$(x^{(i)},y^{(i)})$，咱們將其函數間隔定義爲：

$$\hat{\gamma}^{(i)}=y^{(i)}(w^Tx^{(i)}+b)\tag{6}$$
函數間隔的做用有兩個。
一個是 確認樣本點有沒有被正確分類：
由式（3）與式（5）能夠知道， $y^{(i)}$的取值爲{ $1,-1$}，那麼在 $w,b$肯定了，而且樣本被正確分類的狀況下， $w^Tx+b$與 $y^{(i)}$是同號的，即 $\hat{\gamma}^{(i)}=\left|(w^Tx+b)\right|$，因此當函數間隔 $\hat{\gamma}^{(i)}>0$，即 $\hat{\gamma}^{(i)}$是正數的時候，咱們就認爲這個點被正確地分類了（錯誤分類時 $\hat{\gamma}^{(i)}<0$）。
另外一個是 衡量該樣本點被正確分類的確信度：
在起源中由sigmoid函數 $g(z)$咱們注意到，一個點離超平面越遠，其輸出就越接近1，一樣地， $\hat{\gamma}^{(i)}$越大，這個樣本被分對的也確信度越大。

進一步地，相比只有一個訓練樣本的狀況，若是給定一個訓練集$S=${$(x^{(i)},y^{(i)};i=1,2,\cdots,m)$}，那麼整個訓練集合的函數間隔爲：

$$\hat{\gamma}=\min_{i=1,2,\cdots,m} \hat{\gamma}^{(i)}\tag{7}$$

有了函數間隔咱們就能夠去選擇超平面了，在判斷數據點有沒有被正確分類這一點上，函數間隔沒有問題。當全部樣本點的函數間隔都是正數的時候，它們就全都被正確分類了（在這裏討論的是數據集線性可分的狀況，如圖一所示）。
須要注意的是，此時的超平面不必定就是最優的，因此咱們還要最大化其被分類正確的確信度，這時候就須要依賴到函數間隔的第二個做用了。

可是在使得確信度最大這一點上，函數間隔卻存在着缺陷。咱們但願在樣本點所有被正確分類的前提下，它們被分對的確信度最大，即讓$\hat{\gamma}$儘量地大（這與式（7）中選取最小（即確信度最小）的$\hat{\gamma}^{(i)}$來做爲整個訓練集的函數間隔$\hat{\gamma}$並不矛盾，還有點在確立最大下界的意思）。
但是咱們發現，只要成比例地改變$w$與$b$，好比把它們變成$2w$與$2b$，超平面並無發生改變，可是函數間隔$\hat{\gamma}$卻變成了原來的兩倍，這意味着，咱們能夠成比例地增大$w$與$b$，使得函數間隔$\hat{\gamma}$變得無限大。這顯然沒有意義，由於超平面的位置並無發生改變。

這時候就輪到幾何間隔出場了，它是增長了約束的函數間隔，使函數間隔變得惟一，用符號$\gamma$表示。
直觀上來看幾何間隔是樣本點到超平面的距離。
此時改變幾何間隔就可以移動超平面，同時幾何間隔仍然能反映樣本被正確分類的確信度，因此對幾何間隔的最大化，就是對超平面的最優化。

下面咱們藉助圖三來尋找幾何間隔：

圖三
設點B是向量 $x$，點B在超平面上，點A爲樣本點向量 $x^{(i)}$。
由於點A與點B在法向量 $w$上的距離就是幾何間隔 $\gamma^{(i)}$，因此咱們有：
$$x^{(i)}-\gamma^{(i)}\frac{w}{\left \| w \right \|}=x\tag{8}$$
由於 $\gamma^{(i)}$只是一個距離常量，因此須要乘上法向量 $w$的單位向量 $\frac{w}{\left \| w \right \| }$（ $\left \| w \right \|$是向量 $w$的長度， $\left \| w \right \|=\sqrt{w_1^2+w_2^2+w_3^2+\cdots+w_n^2+}$），才能在向量間直接作加減。
由於點B在超平面上，因此咱們有：
$$w^Tx+b=w^T(x^{(i)}-\gamma^{(i)}\frac{w}{\left \| w \right \|})+b=0\tag{9}$$
對式（9）進行求解便可獲得幾何間隔的形式化定義：
$$\gamma^{(i)}=\frac{w^Tx^{(i)}+b}{\left \| w \right \|}= (\frac{w}{\left \| w \right \|})^Tx^{(i)}+\frac{b}{\left \| w \right \|} \tag{10}$$
這是樣本點在正側的情形，若是樣本點在負的一側，那就是：
$$\gamma^{(i)}= -((\frac{w}{\left \| w \right \|})^Tx^{(i)}+\frac{b}{\left \| w \right \|} )\tag{11}$$
因此爲使公式通常化，幾何間隔以下表示：
$$\gamma^{(i)}= y^{(i)}((\frac{w}{\left \| w \right \|})^Tx^{(i)}+\frac{b}{\left \| w \right \|} )\tag{12}$$
幾何間隔與函數間隔的關係是：
$$\gamma^{(i)}= \frac{\hat{\gamma}^{(i)}}{\left \| w \right \|}\tag{13}$$
因此說幾何間隔是增長了約束的函數間隔，是對函數間隔的完善，這時若是成比例地改變 $w$與 $b$，幾何間隔是不會改變的。

相似地，相比只有一個訓練樣本的狀況，若是給定一個訓練集$S=${$(x^{(i)},y^{(i)};i=1,2,\cdots,m)$}，那麼整個訓練集合的幾何間隔爲：

$$\gamma=\min_{i=1,2,\cdots,m}\gamma^{(i)}\tag{14}$$

1.三、最優間隔分類器（The optimal margin classifier）

有了幾何間隔，咱們就能夠肯定最優超平面的位置，即最優間隔分類器了：

$$\begin{align} &\max_{\gamma,w,b} \quad \gamma\\ &s.t. \quad y^{(i)}((\frac{w}{\left \| w \right \|})^Tx^{(i)}+\frac{b}{\left \| w \right \|} )\geq\gamma,\quad i=1,2,\cdots,m \tag{15} \end{align}$$
把圖一再貼上來一次，而且默認上方的叉叉爲正實例，下方的圈圈爲負實例：

爲何說知足了式（15）的超平面就是最優間隔分類器，即圖中的實線？
首先，在 正確分類的狀況下，咱們要認可 幾何間隔$\gamma$是正數（若是 $\gamma$是負數，證實分類都不正確，那就沒有討論下去的必要了，更不用提什麼最優），因此若是每一個樣本點都服從了式（15）中 $y^{(i)}((\frac{w}{\left \| w \right \|})^Tx^{(i)}+\frac{b}{\left \| w \right \|} )\geq\gamma$這個式子，那麼咱們就能夠認爲「全部樣本點的幾何間隔都大於一個正數」，即這些樣本點都被正確分類了。這正是函數間隔的第一個做用。因而在這個前提下，咱們發現超平面只能畫在圖一的兩條虛線即支持向量之間，並且要跟虛線平行。

其次，咱們來考慮最優的問題。雖然說肯定了超平面必定在兩條虛線之間，可是那裏面仍然有無數個超平面，如何肯定最優？
綜合幾何間隔與函數間隔的第二個做用，咱們有這樣的結論：「幾何間隔越大，樣本被正確分類的確信度越大」，當式（15）中$\max_{\gamma,w,b} \quad \gamma$這個式子知足的時候，咱們發現超平面正好處於兩條虛線的中線位置，它也是咱們直觀上能想象到的最好的位置了。爲何這麼巧？
直觀上來講，支持向量是最靠近超平面的存在，因此由式（14）能夠知道，支持向量的幾何間隔，就是整個樣本集的幾何間隔，由於其它的點離超平面更遠，不在考慮範圍以內了。
咱們能夠想象一下這條實線（超平面）沿着平行的方向上下移動，舉個極端的例子，超平面移動到支持向量上，與某一條虛線重合了，這時候全部樣本點也是分類正確的，可是此時的幾何間隔$\gamma =0$，它是不知足「幾何間隔最大」這個要求的，而後咱們慢慢將超平面從虛線向另外一側的虛線移動，每移動一分幾何間隔$\gamma$就增大一分，直到達到中線的位置，支持向量到超平面的距離相等，$\gamma$才達到最大，超平面達到最優（若是超平面繼續向另外一側虛線移動，$\gamma$又會變小）。

解釋了這麼可能是爲了說明，知足了式（15）的參數$w,b$能夠肯定最優超平面，因此它就是咱們的目標函數了。那是否是就能夠開始對式（15）進行求解了，求解獲得了$w,b$，SVM的工做就完成了。

嗯，是的，求解獲得$w,b$，SVM的工做就完成了。可是，工做尚未開始。由於這個樣子的目標函數無法求解，或者直接求解難度太大，由於它不是一個凸函數，無法用常規的梯度降低或者牛頓法求解。目前的我也不知道若是不用講義上給的方法，還有沒有別的方法能夠手動求解。因此，按着給出的方法接着往下走吧。

由函數間隔與幾何間隔的關係$\gamma^{(i)}= \frac{\hat{\gamma}^{(i)}}{\left \| w \right \|}$，咱們能夠對 式（15）進行以下的改寫：

$$\begin{align} &\max_{\hat{\gamma},w,b} \quad \frac{\hat{\gamma}}{\left \| w \right \|}\\ &s.t. \quad y^{(i)}(w^Tx^{(i)}+b )\geq\hat{\gamma},\quad i=1,2,\cdots,m \tag{16} \end{align}$$
由於函數間隔的改變不影響超平面的位置，因此爲了進一步化簡目標函數，咱們給函數間隔一個約束 $\hat{\gamma}=1$使其變得惟一，此時 $\frac{\hat{\gamma}}{\left \| w \right \|}=\frac{1}{\left \| w \right \|}$，又由於最大化 $\frac{1}{\left \| w \right \|}$與最小化 $\frac{1}{2}\left \| w \right \|^2$是同樣的，因此有：
$$\begin{align} &\min_{\gamma,w,b} \quad \frac{1}{2}\left \| w \right \|^2\\ &subject \ to \quad y^{(i)}(w^Tx^{(i)}+b )\geq1,\quad i=1,2,\cdots,m \tag{17} \end{align}$$
這樣，目標函數就變成式（17）的樣子了，接下來就能夠對這個函數進行求解了。

二、SVM的轉換與優化

2.一、SVM轉換——引入拉格朗日對偶與KKT條件

2.1.一、目標函數轉化爲原始問題（Primal problem）

如今，咱們將目標函數式（17）改寫一下 ：

$$\begin{align} 令\quad f(w)&= \frac{1}{2}\left \| w \right \|^2\\ 令 \quad g(w_i)&= -y^{(i)}(w^Tx^{(i)}+b )+1\leq0 \tag{18} \end{align}$$
而後引入 拉格朗日乘子（Lagrange multipliers）$\alpha_i\geq0(i=1,2,\cdots,n)$獲得以下 原始問題：
$$\begin{align} &\quad\min_{w,b} \max_{\alpha\geq0} (\frac{1}{2}\left \| w \right \|^2-\sum_{i=1}^m \alpha_i[y^{(i)}(w^Tx^{(i)}+b )-1])\\ &=\min_{w,b} \max_{\alpha\geq0} (f(w)+\sum_{i=1}^m \alpha_ig(w_i))\\ &=\min_{w,b} \max_{\alpha\geq0} L(w,b,\alpha)\\ &=\min_{w,b}\theta_p(w) \tag{19} \end{align}$$
下標 $p$被稱爲原始問題，即：
$$\begin{align} \theta_p(w)=\max_{\alpha\geq0} L(w,b,\alpha)=\max_{\alpha\geq0}(f(w)+\sum_{i=1}^m \alpha_ig(w_i))=\max_{\alpha\geq0}(\frac{1}{2}\left \| w \right \|^2-\sum_{i=1}^m \alpha_i[y^{(i)}(w^Tx^{(i)}+b )-1]) \tag{20} \end{align}$$
雖然很突兀，式（19）與式（17）是等價的。這是由於有被稱爲 柵欄（Barrier）的帶有拉格朗日乘子的那個加項 $\max_{\alpha\geq0}\sum_{i=1}^m \alpha_ig(w_i)$的存在，它的做用是將不可行域的 $w$排除掉，只留下了可行域內的 $w$，式（19）與式（17）同樣，都表達了「在 $y^{(i)}(w^Tx^{(i)}+b )\geq1(即g(w_i)=\leq0)$的約束下，對 $\frac{1}{2}\left \| w \right \|^2 (即f(w))求最小值$」的意思。
咱們先來考慮 不可行域的狀況。
不可行域指的是不知足約束 $y^{(i)}(w^Tx^{(i)}+b )\geq1$的 $w$，此時 $y^{(i)}(w^Tx^{(i)}+b )<1$，即 $g(w_i)>0$。而後咱們看向 $\max_{\alpha\geq0}\sum_{i=1}^m \alpha_ig(w_i)$這個加項，由於 $\alpha\geq0$且 $g(w_i)>0$，因此此時求最大值是沒有意義的，它的最大值就是無限大。
再來考慮 可行域的狀況。
可行域就是 $y^{(i)}(w^Tx^{(i)}+b )\geq1$這個區域，此時 $g(w_i)\leq0$。一樣地，對 $\sum_{i=1}^m \alpha_ig(w_i)$求最大值，此時的條件是 $\alpha\geq0$且 $g(w_i)\leq0$，明顯地，最大值爲0。
因此在可行域下有：
$$\begin{align} \theta_p(w)=\max_{\alpha\geq0}(f(w)+\sum_{i=1}^m \alpha_ig(w_i))=\max_{\alpha\geq0}f(w)+\max_{\alpha\geq0}\sum_{i=1}^m \alpha_ig(w_i)=\max_{\alpha\geq0}f(w)+0=f(w) \tag{21} \end{align}$$
結合起來就是：
$$\theta_p(w)=\left\{\begin{array}\\f(w) &w知足原始約束\\\infty&其餘\end{array}\right.\tag{22}$$
因此引入了拉格朗日乘子的原始問題式（19） $\min_{w,b}\theta_p(w)$與目標函數式（17）是等價的：
$$\min \theta_p(w)=\left\{\begin{array}\\\min \frac{1}{2}\left \| w \right \|^2 &知足y^{(i)}(w^Tx^{(i)}+b )\geq1\\無心義&其餘\end{array}\right.\tag{23}$$

2.1.二、原始問題與對偶問題（Dual problem）的關係

對於原始問題有：

$$\begin{align} \min_{w,b}\theta_p(w,b)&=\min_{w,b}\max_{\alpha\geq0} L(w,b,\alpha)\\ \theta_p(w,b)&=\max_{\alpha\geq0} L(w,b,\alpha) \tag{24} \end{align}$$
下標 $D$被稱爲對偶問題，在上式中將 $\min_{w,b}$與 $\max_{\alpha\geq0}$的順序交換一下就變成了對偶問題：
$$\begin{align} \max_{\alpha\geq0} \theta_D(\alpha)&=\max_{\alpha\geq0}\min_{w,b} L(w,b,\alpha)\\ \theta_D(\alpha)&=\min_{w,b} L(w,b,\alpha) \tag{25} \end{align}$$

弱對偶性（Weak duality）

對於一對原始問題與對偶問題，若是它們都存在最優解，而且分別將其表示爲$p^*=\min_{w,b}\theta_p(w,b)$與$d^*=\max_{\alpha\geq0}\theta_D(\alpha)$，那麼它們一定有以下關係：

$$d^*\leq p^*\tag{26}$$
這被稱爲弱對偶性。有以下證實：
$$\begin{align} \theta_D(\alpha)=\min_{w,b} L(w,b,\alpha)\leq L(w,b,\alpha)&\leq \max_{\alpha\geq0} L(w,b,\alpha)=\theta_p(w,b)\\ \Longrightarrow \theta_D(\alpha)&\leq\theta_p(w,b) \tag{27} \end{align}$$
也能夠這麼理解：
$$\max_{y\in\begin{Bmatrix} 0,1 \end{Bmatrix}}\underbrace{(\min_{x\in\begin{Bmatrix} 0,1 \end{Bmatrix}}I\begin{Bmatrix} x=y \end{Bmatrix})}_0 \leq\min_{x\in\begin{Bmatrix} 0,1 \end{Bmatrix}}\underbrace{(\max_{y\in\begin{Bmatrix} 0,1 \end{Bmatrix}}I\begin{Bmatrix} x=y \end{Bmatrix})}_1$$
由於它們都有最優解，因此有：
$$\begin{align} d^*=\max_{\alpha\geq0}\theta_D(\alpha)&\leq \min_{w,b}\theta_p(w,b)=p^*\\ \Longrightarrow d^*&\leq p^* \tag{28} \end{align}$$

強對偶性（Strong duality）

對於一對原始問題與對偶問題，$w^*,b^*$是原始問題的解，$\alpha^*$是對偶問題的解，而且它們知足KKT條件，有$d^*= p^*$。這被稱爲強對偶性，此時能夠經過求解對偶問題獲得原始問題的解。
KKT條件以下：

$$\begin{align} 拉格朗日平穩(Stationarity):\qquad \nabla_{w_i} L(w^*,b^*,\alpha^*)&=0,\qquad i=1,2,\cdots,n\\ \nabla_{b_i} L(w^*,b^*,\alpha^*)&=0,\qquad i=1,2,\cdots,l \tag{29} \end{align}$$

$$\begin{align} 互補鬆弛(Complementary \ slackness):\qquad \alpha^*_ig_i(w^*)=0,\qquad i=1,2,\cdots,k\\ \tag{30} \end{align}$$

$$\begin{align} 原始可行性(Primal \ feasibility):\qquad g_i(w^*)\leq 0,\qquad i=1,2,\cdots,k\\ \tag{31} \end{align}$$

$$\begin{align} 對偶可行性(Dual \ feasibility):\qquad \alpha^*\geq0,\qquad i=1,2,\cdots,k\\ \tag{32} \end{align}$$
互補鬆弛其實已經包含了原始可行性與對偶可行性。
當 $g_i(w^*)< 0$，只有當 $\alpha^*=0$，互補鬆弛才成立；
當 $\alpha^*> 0$，只有當 $g_i(w^*)= 0$，互補鬆弛才成立。

咱們的求解目標經歷瞭如下轉化：

$$\begin{align} &\qquad 經過幾何分析（幾何間隔的意義）獲得式（15）最初始的目標函數\\ &\Longrightarrow 經過幾何間隔與函數間隔的關係與一些約束與手段，從式（15）獲得經常使用的且較正規的目標函數式（17），此時它是一個凸函數\\ &\Longrightarrow 引入拉格朗日算子將目標函數式（17）變成式（19）的原始問題\\ &\Longrightarrow 每一個原始問題都有對應的對偶問題，知足KKT條件後對偶問題的解與原始問題的解相等，可經過求解對偶問題式（25）來得到原始問題式（19）的解 \end{align}$$
通過這一系列轉化，結論就是，求解獲得對偶問題的解以後，就能獲得目標函數的參數 $w,b$，得到最後的SVM分類函數。爲何要繞這麼一大圈去求解對偶問題？
一是對偶問題每每比原始問題更容易求解，二是對偶問題有一些優良的結構，能夠在內積中天然而然地引入核函數，進而推廣到非線性分類問題，並且還能夠用軟間隔分類器來解決非線性問題。

2.1.三、對偶問題的初步求解

接下來討論如何求解對偶問題。
回到式（25）的對偶問題：

$$\begin{align} \max_{\alpha\geq0} \theta_D(\alpha)=\max_{\alpha\geq0}\min_{w,b} L(w,b,\alpha) \end{align}$$
要求解獲得最後的參數，對偶問題的求解方法分紅兩步。
第一步， $\min_{w,b} L(w,b,\alpha)$。把 $\alpha$當成常數，對 $w,b$求 $L(w,b,\alpha)$的最小值，而後把用 $\alpha$表示的 $w,b$代回 $L(w,b,\alpha)$中，此時的 $L(w,b,\alpha)$成爲了參數 $\alpha$的函數，其實是 $L(\alpha)$，形式上用 $W(\alpha)$表示。
第二步， $\max_{\alpha\geq0}\min_{w,b} L(w,b,\alpha)=\max_{\alpha\geq0}W(\alpha)$。對 $W(\alpha)$求最大值，此時解出來的 $\alpha$是確切的常數，再把這些常數代回第二步中「用 $\alpha$表示的 $w,b$」中，便可獲得最終的參數 $w,b$。
本小節只作第一步的處理，第二步的處理將在第三章「SVM的求解」中介紹。

對$w,b$求$L(w,b,\alpha)$的最小值的方式是，分別對$w,b$求偏導，而後讓它們的結果爲0。
把$L(w,b,\alpha)$的原式（見式（19））稍微展開（$w$被認爲是常數 ，因此$w^T=w$）：

$$\begin{align} L(w,b,\alpha)&=\frac{1}{2}\left \| w \right \|^2-\sum_{i=1}^m \alpha_i[y^{(i)}(w^Tx^{(i)}+b )-1]\\ &=\frac{1}{2}\left \| w \right \|^2-\sum_{i=1}^m \alpha_iy^{(i)}w^Tx^{(i)}+b\sum_{i=1}^m \alpha_iy^{(i)}+\sum_{i=1}^m \alpha_i \tag{33} \end{align}$$
對 $w$求偏導能夠簡單獲得：
$$\begin{align} \nabla_{w} L(w,b,\alpha)&=w-\sum_{i=1}^m \alpha_iy^{(i)}x^{(i)}=0\\ &\Longrightarrow w=\sum_{i=1}^m \alpha_iy^{(i)}x^{(i)} \tag{34} \end{align}$$
一樣，對 $b$求偏導能夠獲得：
$$\begin{align} \nabla_b L(w,b,\alpha)&=\sum_{i=1}^m \alpha_iy^{(i)}=0 \tag{35} \end{align}$$
這裏， $x^{(i)}$與 $y^{(i)}$是樣本點，是已知數，因此咱們就有了「用 $\alpha$表示的 $w與b$」。接下來咱們把式（34）與式（35）代回到式（33）中，須要注意的地方是 $\left \| w \right \|^2=w^Tw$，其它的正常展開就行，獲得：
$$\begin{align} L(w,b,\alpha)&=\sum_{i=1}^m \alpha_i-\frac{1}{2}\sum_{i,j=1}^m y^{(i)}y^{(j)}\alpha_i\alpha_j(x^{(i)})^Tx^{(j)}=W(\alpha) \tag{36} \end{align}$$
再把 $(x^{(i)})^Tx^{(j)}$用 $⟨x^{(i)},x^{(j)}⟩$表示，同時把上面與 $\alpha$有關的約束條件加上，就到了要求解的對偶問題的第二步：
$$\begin{align} \max_\alpha \quad &W(\alpha)=\sum_{i=1}^m \alpha_i-\frac{1}{2}\sum_{i,j=1}^m y^{(i)}y^{(j)}\alpha_i\alpha_j⟨x^{(i)},x^{(j)}⟩\\ s.t.\quad &\alpha_i\geq0,i=1,2,\cdots,m\\ &\sum_{i=1}^m \alpha_iy^{(i)}=0 \tag{37} \end{align}$$
注意，咱們的目標是求得參數 $w,b$， $w$在式（34）中有描述，當咱們把 $\max_\alpha W(\alpha)$求解出來，獲得 $\alpha_i$配合上樣本點，便可計算出 $w$的實際值，那麼， $b$是如何計算的？
這裏是 $b$的計算方法：
$$b^*=-\frac{\max_{i:y{(i)}=-1}w^{*T} x^{(i)}+\min_{i:y{(i)}=1}w^{*T} x^{(i)}}{2}\tag{38}$$
再一次把圖一貼上來：

式（38）中， $-\max_{i:y{(i)}=-1}w^{*T} x^{(i)}$表示，過度類爲-1的支持向量的超平面的截距，對應圖中過圈圈的下面那條虛線的截距； $-\min_{i:y{(i)}=1}w^{*T} x^{(i)}$表示，過度類爲1的支持向量的超平面的截距，對應圖中過叉叉的上面那條虛線的截距。
實線即超平面的截距是這兩個截距的和的一半。

到這裏，咱們完成了$\min_{w,b} L(w,b,\alpha)$的過程，對偶問題的第一步求解就完成了。要求得截距$b$咱們須要知道$w$，而$w$須要用$\alpha$計算獲得，因此整個SVM分類器的求解只剩下最後一步了。
對偶問題的第二步$\max_{\alpha\geq0}W(\alpha)$，求解$\alpha$的介紹將在第三章中進行（第三章中將要求解的是通過優化的$W(\alpha)$，不是如今這個），由於接下來要介紹兩個內容，核函數與軟間隔分類器。

2.二、SVM優化一——引入核函數（Kernel）

2.2.一、核函數的做用

核函數的做用：把原座標系裏線性不可分的數據投影到另外一個空間，儘可能使得數據在新的空間裏線性可分。
爲了有一個直觀感覺能夠看這個視頻：https://www.youtube.com/watch?v=3liCbRZPrZA

低維空間（這裏是二維）裏有紅色與藍色兩種不一樣的分類點，能夠看到在這裏它們線性不可分：

圖四

用核函數把低維空間裏的數據投影到高維空間（這裏是三維）中去：


圖五

在高維空間中作一個超平面將數據分類：


圖六

高維空間中的分類超平面，表如今低維空間中，就是那個發光的圓：


圖七

能夠看到，即便原空間中的數據線性不可分，也能夠得到很好的分類超平面，這就是核函數在SVM中的做用。

2.2.二、核函數自己

將數據映射到高維空間

讓咱們來看式（37）中可使用核函數的地方：

$$\begin{align} W(\alpha)=\sum_{i=1}^m \alpha_i-\frac{1}{2}\sum_{i,j=1}^m y^{(i)}y^{(j)}\alpha_i\alpha_j⟨x^{(i)},x^{(j)}⟩ \end{align}$$
令 $x^{(i)}=x$， $x^{(j)}=z$，咱們能夠將尖括號中的內積 $⟨x^{(i)},x^{(j)}⟩$替換成 $⟨\phi(x),\phi(z)⟩$， $\phi(x)$表示向量之間的映射，通常是從低維到高維：
$$\begin{align} W(\alpha)=\sum_{i=1}^m \alpha_i-\frac{1}{2}\sum_{i,j=1}^m y^{(i)}y^{(j)}\alpha_i\alpha_j⟨\phi(x),\phi(z)⟩ \tag{39} \end{align}$$

給定了一個特徵映射$\phi$，咱們將相應的核函數定義爲：

$$K(x,z)=⟨\phi(x),\phi(z)⟩=\phi(x)^T\phi(z)\tag{40}$$

這是李航老師《統計學習方法》SVM章節中給出的例子，我來簡述一下：

圖八
$x$是原空間的數據， $x=\left[ \begin{matrix}x^{(1)}\\x^{(2)} \end{matrix}\right]$；
同時， $z=\phi(x)=\left[ \begin{matrix}(x^{(1)})^2 \\ (x^{(2)})^2 \end{matrix}\right]$（這裏的 $z$指的是 映射後的向量，跟 $x^{(j)}=z$的設定—— 原空間中的向量——衝突了，可是由於圖上給的是 $z$，因此仍是這麼用了，請讀者自行區分一下）。
映射事後，原空間中的點相應地變爲新空間中的點，原空間中的橢圓：
$$w_1 (x^{(1)})^2+w_2 (x^{(2)})^2+b=0 \tag{41}$$
變成了新空間中的直線：
$$w_1 z^{(1)})+w_2 z^{(2)})+b=0 \tag{42}$$
線性不可分問題通常來講很差求解。因此咱們將數據映射到高維空間，在高維空間裏使用求解線性可分問題的方法，來求解在原空間中線性不可分的問題。
咱們看到雖然樣本點通過了映射，可是參數 $w,b$卻沒變，由於式（39）與式（40）中的 $w,b$原本就是相同的，只是在不一樣維度中表現出不一樣的樣子而已（在（這裏的）高維空間裏表現爲一條直線，在低維空間裏表現爲一個橢圓）。
這些跟圖四到圖七所表達的意思也是很吻合的。

化解計算量問題

將數據映射到高維空間，在高維空間中去尋找線性超平面的這個方式當然好，可是卻引來了新的問題。
$\phi(x)$是映射後的數據，通常比原數據更高維，而真正使用的時候，仍是在計算它的內積$\phi(x)^T\phi(z)$，這樣的計算代價過高昂了。
核函數的一個巧妙之處在於，能夠經過計算低維向量內積的平方，獲得高維向量的內積，下面是一個例子。
若是咱們有一個核函數以下，而且$x,z$都是$n$維的:

$$K(x,z)=(x^Tz)^2\tag{43}$$
它能夠展開成以下形式：
$$\begin{align} K(x,z)&=(x^Tz)^2\\ &=\left ( \sum_{i=1}^nx_iz_i\right) \left ( \sum_{j=1}^nx_jz_j\right)\\ &=\sum_{i=1}^n \sum_{j=1}^nx_ix_jz_iz_j\\ &=\sum_{i,j=1}^n(x_ix_j)(z_iz_j)\\ &=\phi(x)^T\phi(z) \tag{44} \end{align}$$
當 $n=3$的時候，有：
$$x=\left[ \begin{matrix}x_1 \\ x_2\\x_3\end{matrix}\right]，\phi(x)=\left[ \begin{matrix}x_1x_1 \\ x_1x_2\\x_1x_3\\ x_2x_1 \\ x_2x_2\\x_2x_3\\x_3x_1 \\ x_3x_2\\x_3x_3\\\end{matrix}\right]\tag{45}$$
假如式（39）中的映射是式（45）中的 $\phi$，咱們有：

W(α)=∑i=1mαi−12∑i,j=1my(i)y(j)