機器學習之支持向量機

1. 線性分類器中主要任務是在樣本空間中尋找一個超平面將不同類別的樣本分開。
   這些超平面有很多，一般來說，」正中間「的泛化性能最強，魯棒性最好。

2. 間隔與支持向量
   劃分超平面可描述爲： $\omega^Tx+b=0$ωTx+b=0
   $\omega=(\omega_1;\omega_2;\cdots;\omega_d)$ω=(ω1​;ω2​;⋯;ωd​)爲法向量，決定方向；
   $b$b爲位移量，決定超平面到原點的距離。
   任意點x到超平面 $(\omega,b)$(ω,b)的距離爲 $r=\frac{|\omega^Tx+b|}{||\omega||}$r=∣∣ω∣∣∣ωTx+b∣​
   假設超平面分類正確，那麼
   若 $(x_i,y_i)\in D$(xi​,yi​)∈D, $y_i=+1$yi​=+1則 $\omega^Tx_i+b>0$ωTxi​+b>0, $y_i=-1$yi​=−1則 $\omega^Tx_i+b<0$ωTxi​+b<0；令 $\omega^Tx_i+b>=1$ωTxi​+b>=1, $y_i=+1$yi​=+1; $\omega^Tx_i+b<=-1$ωTxi​+b<=−1, $y_i=-1$yi​=−1
   距離超平面最近的幾個訓練樣本點使得上式成立，稱爲支持向量。
   兩個異類支持向量到超平面的距離之和爲 $\gamma=\frac{2}{||\omega||}$γ=∣∣ω∣∣2​，稱爲間隔。

3. SVM的基本型
   找到 $\omega$ω和 $b$b滿足 $y_i(\omega^Tx_i+b)>=1$yi​(ωTxi​+b)>=1, $i=1,2,\cdots,m$i=1,2,⋯,m使得間隔 $\gamma=\frac{2}{||\omega||}$γ=∣∣ω∣∣2​最大。
   這等價於：找到 $\omega$ω和 $b$b滿足 $y_i(\omega^Tx_i+b)>=1$yi​(ωTxi​+b)>=1, $i=1,2,\cdots,m$i=1,2,⋯,m使得 $\frac{1}{2}{||\omega||}^2$21​∣∣ω∣∣2最小(式1)。

4. 對偶問題
   對式1使用拉格朗日乘子法，得到其對偶問題。
   #1. $L(\omega,b,\alpha)=\frac{1}{2}||\omega||^2+\sum\limits_{i=1}^{m}\alpha_i(1-y_i(\omega^Tx_i+b))$L(ω,b,α)=21​∣∣ω∣∣2+i=1∑m​αi​(1−yi​(ωTxi​+b))
   #2.令 $L(\omega,b,\alpha)$L(ω,b,α)對 $\omega$ω和b的偏導等於零，即得： $\omega=\sum\limits_{i=1}^{m}\alpha_iy_ix_i$ω=i=1∑m​αi​yi​xi​ $\sum\limits^{m}_{i=1}\alpha_iy_i=0(*)$i=1∑m​αi​yi​=0(∗) #3.代回即得： $L(\omega,b,\alpha)=\sum\limits_{i=1}^{m}\alpha_i-\frac{1}{2}\sum\limits_{i=1}^{m}\sum\limits_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j$L(ω,b,α)=i=1∑m​αi​−21​i=1∑m​j=1∑m​αi​αj​yi​yj​xiT​xj​ #4.考慮(*)處約束，即得式1的對偶問題： $\max\limits_{\alpha}\,\,\,\,\,\,\,\sum\limits_{i=1}^{m}\alpha_i-\frac{1}{2}\sum\limits_{i=1}^{m}\sum\limits_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j$αmax​i=1∑m​αi​−21​i=1∑m​j=1∑m​αi​αj​yi​yj​xiT​xj​s.t. $\sum\limits^{m}_{i=1}\alpha_iy_i=0(*)$i=1∑m​αi​yi​=0(∗) $\alpha_i>=0$αi​>=0.

5. 解的稀疏性
   求出 $\alpha$α後即得最終模型：
   $f(x)=\omega^Tx+b=\sum\limits^{m}_{i=1}\alpha_iy_ix_i^Tx+b$f(x)=ωTx+b=i=1∑m​αi​yi​xiT​x+b
   KKT條件： $\left\{\begin{matrix} \alpha_i>=0\\ y_if(x_i)>=1\\\alpha_i(1-y_if(x_i))=0 \end{matrix}\right.$⎩⎨⎧​αi​>=0yi​f(xi​)>=1αi​(1−yi​f(xi​))=0​
   即必有： $\alpha_i=0$αi​=0或者 $y_if(x_i)=1$yi​f(xi​)=1
   由此體現解的稀疏性：訓練完成後，最終模型只與支持向量有關。

6. 特徵空間映射
   不存在一個超平面能將兩類樣本正確劃分時，可將樣本從原始空間映射到更高維度的特徵空間，使得樣本在這個特徵空間內線性可分。
   設樣本 $x$x映射後的向量爲 $\phi(x)$ϕ(x)，劃分超平面爲：
   $f(x)=\omega^T\phi(x)+b$f(x)=ωTϕ(x)+b
   原始問題：找到 $\omega$ω和 $b$b滿足 $y_i(\omega^T\phi(x_i)+b)>=1$yi​(ωTϕ(xi​)+b)>=1, $i=1,2,\cdots,m$i=1,2,⋯,m使得 $\frac{1}{2}{||\omega||}^2$21​∣∣ω∣∣2最小
   對偶問題： $\max\limits_{\alpha}\,\,\,\,\,\,\,\sum\limits_{i=1}^{m}\alpha_i-\frac{1}{2}\sum\limits_{i=1}^{m}\sum\limits_{j=1}^{m}\alpha_i\alpha_jy_iy_j\phi(x_i)^T\phi(x_j)$αmax​i=1∑m​αi​−21​i=1∑m​j=1∑m​αi​αj​yi​yj​ϕ(xi​)Tϕ(xj​)s.t. $\sum\limits^{m}_{i=1}\alpha_iy_i=0(*)$i=1∑m​αi​yi​=0(∗) $\alpha_i>=0$αi​>=0.
   預測模型： $f(x)=\omega^T\phi(x)+b=\sum\limits^{m}_{i=1}\alpha_iy_i\phi(x_i)^T\phi(x)+b$f(x)=ωTϕ(x)+b=i=1∑m​αi​yi​ϕ(xi​)Tϕ(x)+b

7. 核函數
   設計核函數 $k(x_i,x_j)=\phi(x_i)^T\phi(x_j)$k(xi​,xj​)=ϕ(xi​)Tϕ(xj​)解決內積 $\phi(x_i)^T\phi(x_j)$ϕ(xi​)Tϕ(xj​)因維度過高計算困難的問題。
   只要一個對稱函數對應的矩陣半正定，這個函數就能作爲核函數使用。
   常用核函數：文本數據常用線性核，情況不明時先嚐試高斯核。
   若 $k_1(x_i,x_j)$k1​(xi​,xj​), $k_1(x_i,x_j)$k1​(xi​,xj​)均爲核函數，那麼對任意正數 $\gamma_1$γ1​、 $\gamma_1$γ1​和任意函數 $g(x)$g(x)： $\gamma_1k_1(x_i,x_j)+\gamma_2k_2(x_i,x_j)$γ1​k1​(xi​,xj​)+γ2​k2​(xi​,xj​)、 $k_1(x_i,x_j)k_1(x_i,x_j)$k1​(xi​,xj​)k1​(xi​,xj​)、 $k(x_i,x_j)=g(x_i)k_1(x_i,x_j)g(x_j))$k(xi​,xj​)=g(xi​)k1​(xi​,xj​)g(xj​))均爲核函數。

8. 軟間隔
   允許在一些樣本上不滿足約束
   優化目標：在最大化間隔的同時，讓不滿足約束 $y_i(\omega^Tx_i+b)>=1$yi​(ωTxi​+b)>=1的樣本數儘可能少。
   $\min\limits_{\omega,b}\,\,\,\,\,\frac{1}{2}||\omega||^2+C\sum\limits_{i=1}^{m}l_{0/1}(y_i(\omega^Tx_i+b)-1)$ω,bmin​21​∣∣ω∣∣2+Ci=1∑m​l0/1​(yi​(ωTxi​+b)−1)
   其中， $l_{0/1}(z)=\left\{\begin{matrix} 1\,\,\,if\,z<0\\ 0\,\,\,else \end{matrix}\right.$l0/1​(z)={1ifz<00else​
   非凸、不連續、不易優化
   替代損失函數： $l_{hinge}(z)=max(0,1-z)$lhinge​(z)=max(0,1−z)、 $l_{exp}(z)=exp(-z)$lexp​(z)=exp(−z)、 $l_{log}(z)=log(1+exp(-z))$llog​(z)=log(1+exp(−z))
   替代損失的一致性問題討論：
   原始問題： $\min\limits_{\omega,b}\,\,\,\,\,\frac{1}{2}||\omega||^2+C\sum\limits_{i=1}^{m}max(0,1-y_i(\omega^Tx_i+b))$ω,bmin​21​∣∣ω∣∣2+Ci=1∑m​max(0,1−yi​(ωTxi​+b))
   引入鬆弛變量 $\xi_i$ξi​: $\min\limits_{\omega,b}\,\,\,\,\,\frac{1}{2}||\omega||^2+C\sum\limits_{i=1}^{m}\xi_i$ω,bmin​21​∣∣ω∣∣2+Ci=1∑m​ξi​,
   s.t. $y_i(\omega^Tx_i+b)>=1-\xi_i$yi​(ωTxi​+b)>=1−ξi​ $\xi_i>=0$ξi​>=0
   對偶問題： $\max\limits_{\alpha}\,\,\,\,\,\,\,\sum\limits_{i=1}^{m}\alpha_i-\frac{1}{2}\sum\limits_{i=1}^{m}\sum\limits_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j$αmax​i=1∑m​αi​−21​i=1∑m​j=1∑m​αi​αj​yi​yj​xiT​xj​s.t. $\sum\limits^{m}_{i=1}\alpha_iy_i=0$i=1∑m​αi​yi​=0 $0\leq\alpha_i<=C$0≤αi​<=C.
   最終模型仍只與支持向量有關。

9. 支持向量迴歸(SVR)
   基本思路：允許模型輸出與實際輸出存在 $2\epsilon$2ϵ的差別。
   使用 $\epsilon$ϵ不敏感損失函數： $l_\epsilon(z)=\left\{\begin{matrix} 0\,\,\,if\,z\leq|\epsilon|\\ |z|-\epsilon\,\,\,else \end{matrix}\right.$lϵ​(z)={0ifz≤∣ϵ∣∣z∣−ϵelse​，表示落入 $2\epsilon$2ϵ間隔段內的數據不計算損失。
   原始問題： $\min\limits_{\omega,b,\xi_i,\hat{\xi_i}}\,\,\frac{1}{2}||\omega||^2+C\sum\limits_{i=1}^{m}(\xi_i+\hat{\xi_i})$ω,b,ξi​,ξi​^​min​21​∣∣ω∣∣2+Ci=1∑m​(ξi​+ξi​^​),s.t. $f(x_i)-y_i\leq\xi_i+\epsilon$f(xi​)−yi​≤ξi​+ϵ $y_i-f(x_i)\leq\hat{\xi_i}+\epsilon$yi​−f(xi​)≤ξi​^​+ϵ $\xi_i>=0$ξi​>=0 $\hat{\xi_i}>=0$ξi​^​>=0
   對偶問題：
   
   KKT條件：
   
   最終模型：
   $f(x)=\sum\limits_{i=1}^{m}(\hat{\alpha_i}-\alpha_i)x_i^Tx+b$f(x)=i=1∑m​(αi​^​−αi​)xiT​x+b
   在求得 $\alpha_i$αi​後，根據KKT條件，當 $C-\alpha_i\neq 0$C−αi​​=0時，利用 $\alpha_i(f(x_i)-y_i-\epsilon)=0$αi​(f(xi​)−yi​−ϵ)=0求出 $b$b。更魯棒的方法是找到所以 $0=<\alpha_i\leq C$0=<αi​≤C的 $\alpha_i$αi​求出b後取平均值。

10. 核方法
    表示定理： 最常見的核方法是通過引入核函數（核化）將線性學習器拓展爲非線性學習器。