機器學習實戰_支持向量機（一）

支持向量機

支持向量機的思路和logistic迴歸的不一樣點：一個考慮局部（不關心已經肯定遠離的點），一個考慮全局（已經遠離的點可能經過調整中間線使其可以更加遠離）

Y∈{+1， -1}是樣本的標籤，分別表明兩個不一樣的類。這裏咱們須要用這些樣本去訓練學習一個線性分類器（超平面）：f(x)=sgn(wTx + b)，也就是wTx + b大於0的時候，輸出+1，小於0的時候，輸出-1。sgn()表示取符號。而g(x) =wTx + b=0就是咱們要尋找的分類超平面

也就是，對於任何一個正樣本yi=+1，它都要處於超平面的一邊，也就是要保證：y= wTx + b>=+1。對於任何一個負樣本yi=-1，它都要處於超平面的另外一邊，也就是要保證：y = wTx + b<=-1。這兩個約束，其實能夠合併成同一個式子：yi (wTxi + b)>=1。

間隔:間隔表示距離劃分超平面最近的樣本到劃分超平面距離的兩倍,即
$$\gamma=2\min_i \frac{1}{\Vert w \Vert}\vert w^Tx_i+b \vert$$

線性支持向量機的目標是找到一組合適的參數(w, b), 在知足分割樣本的條件下，使得上訴間隔最大
$$\max_{w,b} \min_i \frac{2}{\Vert w \Vert}\vert w^Tx_i+b \vert \\ \\ \\s.t. \quad y_i(w^T+b)>0, i=1,2,...,m$$

上面的優化問題十分複雜, 難以處理. 爲了能在現實中應用, 咱們但願能對其作一些簡化, 使其變爲能夠求解的, 經典的凸二次規劃 (QP) 問題

凸二次規劃的優化問題是指目標函數是凸二次函數, 約束是線性約束的一類優化問題

支持向量機的縮放引理：若（w* ,b*）是上面優化問題的解，那麼對任何的r>0,(rw*,rb*)還是該問題的解。

因爲對 (w, b) 的放縮不影響解, 爲了簡化優化問題,咱們約束 (w, b) 使得
$$\min_i \quad \vert w^Tx_i+b \vert = 1$$

因此最後咱們的優化目標能夠等價爲下面優化目標：
$$\min_{w,b} \quad \frac{1}{2}w^Tw \\ \\ \\s.t. \quad y_i(w^T+b)>0, i=1,2,...,m$$

推導證實：

這是一個凸二次規劃問題，除了用解決QP問題的常規方法以外，還能夠應用拉格朗日對偶性，經過求解對偶問題獲得最優解，這就是線性可分條件下支持向量機的對偶算法，這樣作的優勢在於：一是對偶問題每每更容易求解；兩者能夠天然的引入核函數，進而推廣到非線性分類問題。

基本推論定理

（完整證實過程要本身去了解拉格朗日子乘法和KKT條件）

線性支持向量推論

核函數

線性可分問題：既然在原始的特徵空間$R^d$不是線性可分的, 支持向量機但願經過一個映射 $\phi$ :$R^d$ →
$R^{\widetilde{d}}$,使得數據在新的空間 $R^{\widetilde{d}}$ 是線性可分的.

令 $\phi$(x)表明將樣本 x 映射到 $R^{\widetilde{d}}$中的特徵向量,參數 w 的維數也要相應變爲 $\widetilde{d}$維.

在上面的支持向量機對偶公式中，注意到，被映射到高維的特徵向量老是以成對內積的形式存在，即 $\phi (x_i)^T\phi(x_j)$ ,若是先計算特徵在$R^{\widetilde{d}}$ 空間的映射, 再計算內積, 複雜度是O($\widetilde{d}$) ,當特徵被映射到很是高維的空間, 甚至是無窮維空間時, 這將會是沉重的存儲和計算負擔.

核技巧旨在將特徵映射和內積這兩步運算壓縮爲一步, 而且使複雜度由O($\widetilde{d}$)降爲O($d$),即, 核技巧但願構造一個核函數 $\kappa (x_i,x_j) $ ,使得$$\kappa(x_i,x_j)=\phi (x_i)^T\phi(x_j)$$而且，$\kappa (x_i,x_j) $ 的計算複雜度是 O($d$) .