SVM之不同的視角

在上一篇學習SVM中 從最大間隔角度出發，詳細學習瞭如何用拉格朗日乘數法求解約束問題，一步步構建SVM的目標函數，此次嘗試從另外一個角度學習SVM。

回顧監督學習要素

• 數據：（\(x_i,y_i\)）

• 模型 \(\hat{y_i} = f(x_i)\)

• 目標函數（損失函數+正則項） \(l(y_i,\hat{y}_i)\)

• 用優化算法求解

SVM之Hinge Loss

• 模型

  svm要尋找一個最優分離超平面,將正樣本和負樣本劃分到超平面兩側

\[f(x) = \bold w^\top \cdot \bold x +b \]

• 目標函數

  \[\underset{w,b}{min}\sum^N_{i=1}max(0,1-y_i(\bold w^\top \cdot x_i+b))+\lambda ||\bold w||^2 \]

  損失函數+正則化

• 優化算法

  梯度降低（求導時須要分段求導,見[1]）

爲何是Hinge Loss

• 保持了支持向量機解的稀疏性

上圖橫軸 \(yf(x)>0\) 表示預測和真實標籤同樣，縱軸表示損失。能夠看處Hinge Loss 和其餘loss的區別在於，當 \(y_if(x_i) \geq 1\) 時，損失函數值爲 0，意味着對應的樣本點對loss沒有貢獻，就沒有參與權重參數的更新，也就是說不參與最終超平面的決定，這纔是支持向量機最大的優點所在，對訓練樣本數目的依賴大大減小，並且提升了訓練效率。

[1] https://blog.csdn.net/oldmao_2001/article/details/95719629

[2] http://www.javashuo.com/article/p-cxwgzibl-bs.html

[3] http://www.javashuo.com/article/p-bgxsyguf-ke.html

[4] https://www.zhihu.com/question/47746939