SVM系列之核函數與KKT條件(二)

前言

在前一篇文章中介紹的 SVM 基本型，其實還可以進行優化。主要是利用核函數對向量內積的計算進行優化。另外，我們還將詳細分析拉格朗日乘子法與KKT條件,以及KKT條件對SVM分類的作用。那我們先來看看核函數是什麼。

核函數

在異或問題中，由於 0⊕0=0 $0\oplus 0=0$、 1⊕1=0 $1\oplus 1=0$、 0⊕1=1 $0\oplus 1=1$、 1⊕0=1 $1\oplus 0=1$，所有隻有兩類結果，我們將 0 標記爲負號，將 1 標記爲正號，並且將這四種情況形象地標註在下圖左側中。可以看到，對於這類樣本點，我們無法找到線性可分的超平面，而只能繪製一條非線性曲線將他們劃分開。那麼有什麼辦法可以將他們劃分開呢？這時候，核方法(kernel trick)就出場啦。

所謂的核方法，其實就是將樣本從原始的特徵空間映射到一個高維的特徵空間，以使得樣本在高維特徵空間中仍然線性可分。正如下圖中所示，我們對 x $x$ 使用一個映射函數 ϕ $\varphi$，得到映射到高維特徵空間的特徵向量 ϕ(x) $\varphi \left(x\right)$，然後這些樣本點在三維空間的確可以找到一個平面將樣本點線性可分(黑色實線所畫的平面)。幸運的是，如果原始空間是有限維，即屬性數有限，那麼一定存在一個高維特徵空間使樣本可分。那麼其實我們只要找到映射函數，就可以將線性不可分的樣本轉爲線性可分的情況了。但是，這個映射函數很難尋找，SVM模型沒有直接硬來，而是巧妙的引入核函數來間接地解決實現這種變換。

那麼接下來我們看看核函數如何應用於模型上。

在前一篇文章中的 SVM 對偶問題爲:

maxα∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjxTixjαi≥0 $$\underset{\alpha }{max}\underset{i=1}{\overset{m}{\sum }}{\alpha }_i-{\displaystyle \frac{1}{2}}\underset{i=1}{\overset{m}{\sum }}\underset{j=1}{\overset{m}{\sum }}{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j{\alpha }_i\ge 0$$

可以看到，我們需要計算第 i 和第 j 兩個樣本的內積。
另外，對應的分類決策函數的公式爲：

f(x)=wTx+b=∑i=1mαiyixTix+b $$\begin{array}{r}f\left(x\right)=w^{T}x+b\\ =\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i{x}_i^{T}x+b\end{array}$$

我們也需要計算總樣本 X 和樣本 i之間的內積。我們發現，這裏其實存在着重複的內積計算，並且在高維中內積計算非常耗時，可不可以只算一次？事實上，是可以的，我們完全可以提前將兩兩樣本間以及樣本與自身的內積都算出來並存儲下來，下次使用時只需直接取出使用即可，這大大提高了計算效率。但是，現在問題是當樣本點映射到高維空間中內積計算的問題。這裏，就巧妙引入了核函數,替代了向量內積。它可表示爲:

k(xi,xj)=ϕ(xi)Tϕ(xj) $$k\left(x_i,x_j\right)=\varphi {\left(x_i\right)}^T\varphi \left(x_j\right)$$

那麼引入核函數後，對偶問題變爲:

maxα∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjϕ(xi)Tϕ(xj)=maxα∑i=1mαi−12∑i=1m∑j=1mαiαjyiyjk(xi,xj)αi≥0 $$\underset{\alpha }{max}\underset{i=1}{\overset{m}{\sum }}{\alpha }_i-{\displaystyle \frac{1}{2}}\underset{i=1}{\overset{m}{\sum }}\underset{j=1}{\overset{m}{\sum }}{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi {\left(x_i\right)}^T\varphi \left(x_j\right)=\underset{\alpha }{max}\underset{i=1}{\overset{m}{\sum }}{\alpha }_i-{\displaystyle \frac{1}{2}}\underset{i=1}{\overset{m}{\sum }}\underset{j=1}{\overset{m}{\sum }}{\alpha }_i{\alpha }_j{y}_i{y}_{j}k\left(x_i,x_j\right){\alpha }_i\ge 0$$

分類決策函數變爲:

f(x)=wTx+b=∑i=1mαiyiϕ(xi)Tϕ(xj)+b=∑i=imαiyik(x,xi)+b $$\begin{array}{r}f\left(x\right)=w^{T}x+b\\ =\underset{i=1}{\overset{m}{\sum }}{\alpha }_i{y}_i\varphi {\left(x_i\right)}^T\varphi \left(x_j\right)+b\end{array}=\underset{i=i}{\overset{m}{\sum }}{\alpha }_i{y}_{i}k\left(x,x_i\right)+b$$

所以我們只需要計算核函數的值即可，而核函數的計算只需套用公式。常用的核函數有線性核( k(xi,xj)=xTixj $k\left(x_i,x_j\right)=x_i^T{x}_j$，線性核代表了原始特徵空間，爲了統一寫法，有了線性核)以及高斯核( k(xi,xj)=exp(−∥xi−xj∥22σ2) $k\left(x_i,x_j\right)=\exp \left(-{\displaystyle \frac{{\Vert x_i-x_j\Vert }^2}{2{\sigma }^2}}\right)$) 等。

注意到大部分的拉格朗日乘子 αi ${\alpha }_i$ 都是 0。因爲大部分的樣本都會被分類正確，只有少部分的樣本被誤分類，也就說只要被分類正確， αi=0 ${\alpha }_i=0$，該樣本不會出現在分類決策函數的求和公式中，自然不會對最終的決策結果產生任何影響。

最後，支持向量機的決策過程也可以看做一種相似性比較的過程。首先，輸入樣本與一系列模板樣本進行相似性比較，模板樣本就是訓練過程決定的支持向量，而採用的相似性度量就是核函數。樣本與各支持向量比較後的得分進行加權後求和，權值就是訓練時得到的各支持向量的係數 αi ${\alpha }_i$ 和類別標號的成績。最後根據加權求和值大小來進行決策。而採用不同的核函數，就相當於採用不同的相似度的衡量方法。

到這裏，SVM的理論基礎基本都介紹完了。總的來說，首先進行特徵空間的非線性映射，然後在這個新的空間中求最優分類面即最大間隔分類面，而這種非線性映射是通過定義適當的內積核函數來巧妙實現的。

接下來，我們介紹下凸優化問題中涉及的KKT條件。

KKT條件（Karush–Kuhn–Tucker conditions）

什麼是KKT

KKT 是一組不等式約束，主要應用在凸優化問題上。其實大家在高數中曾使用過拉格朗日乘子法求解帶等式約束的優化問題，而KKT條件解優化問題就是升級版啦。

拉格朗日乘子法

假設有如下帶等式約束的優化問題：

minf(x)s.t.hi(x)=0i=1,2,…,m $$minf\left(x\right)s.t.h_i\left(x\right)=0i=1,2,\dots ,m$$

我們使用拉格朗日乘子法通過引入拉格朗日乘子將等式約束的優化問題轉化爲無等式約束的優化問題。
所以我們通過一個拉格朗日乘子組成的行向量 α $\alpha$(其中 α=[α1,α2,…,αn] $\alpha =\left[{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_n\right]$)，將目標函數和等式約束組合成 L(α,x)=f(x)+αT⋅h $L\left(\alpha ,x\right)=f\left(x\right)+{\alpha }^T\cdot h$,其中 h(x)=[h1(x),h2(x),…,hm(x)]T $h\left(x\right)={\left[h_1\left(x\right),h_2\left(x\right),\dots ,h_m\left(x\right)\right]}^T$。然後就可以求最優值，也就是利用費馬引理，將函數 L 對各個參數求導取零，然後等式聯立進行求解。

KKT條件

假設有如下帶不等式約束的優化問題:

minf(x)s.t.gi(x)≤0i=1,2,…,nhj(x)=0j=1,2,…,m $$minf\left(x\right)s.t.g_i\left(x\right)\le 0i=1,2,\dots ,n{h}_j\left(x\right)=0j=1,2,\dots ,m$$

我們同樣先將約束問題轉化爲無約束的優化問題，得到函數:

L(α,β,x)=f(x)+αg(x)+βh(x) $$L\left(\alpha ,\beta ,x\right)=f\left(x\right)+\alpha g\left(x\right)+\beta h\left(x\right)$$

其中 α $\alpha$、 β $\beta$爲行向量， g(x) $g\left(x\right)$、 h(x) $h\left(x\right)$均爲列向量。那麼KKT條件的作用就是，該問題的最優解必須滿足以下條件:

1. L(α,β,x) $L\left(\alpha ,\beta ,x\right)$對 x $x$ 的導數爲零；
2. h(x)=0 $h\left(x\right)=0$；
3. αg(x)≤0 $\alpha g\left(x\right)\le 0$。

這樣之後就能求得最優值。其中第三個式子比較有意思。由於 g(x)≤0 $g\left(x\right)\le 0$，因此只有 α=0 $\alpha =0$ 或 g(x)=0 $g\left(x\right)=0$時，等式才成立。而這裏是 SVM 中很多重要性質的來源，比如支持向量的概念。後面我們在介紹KKT條件與 SVM 的關係時再具體解釋。那爲什麼拉格朗日乘子法和KKT條件能夠得到最優值?

拉格朗日乘子法和KKT條件能夠得到最優值的原因

對於拉格朗日乘子法，假設目標函數爲 f(x,y) (x) ≤ 0 $\alpha g\left(x\right)\le 0$。

這樣之後就能求得最優值。其中第三個式子比較有意思。由於 g(x)≤0 $g\left(x\right)\le 0$，因此只有 α=0 $\alpha =0$ 或 g(x)=0 $g\left(x\right)=0$時，等式才成立。而這裏是 SVM 中很多重要性質的來源，比如支持向量的概念。後面我們在介紹KKT條件與 SVM 的關係時再具體解釋。那爲什麼拉格朗日乘子法和KKT條件能夠得到最優值?

拉格朗日乘子法和KKT條件能夠得到最優值的原因

對於拉格朗日乘子法，假設目標函數爲 f(x,y) $f\left(x,y\right)$,要求其極值，且滿足