SVM算法的另一種理解

解決一個機器學習問題的通常套路是先構建一個目標函數，而後解決一個優化問題。目標函數一般由損失函數和正則項組成。常見的損失函數log-loss,square-loss,cross-entropy-loss等，常見的正則化方法有L1正則、L2正則等，常見的優化方法有梯度降低、隨機梯度降低等。SVM也能夠按照這種模式來從新定義。

首先，損失函數

\( l(y_i,y_i') = max(0,1-y_iy_i') \),稱之爲hinge-loss. 實際值y的取值爲-1和1，容易看出，只要實際值和預測值不一樣，損失函數就會大於0，當實際值和預測值相同的時候，預測值的絕對值越大越好

而後，構建目標函數

obj(w,b) = \(\sum_{i=1}^{N}max(0,1-y_i(w \dot x_i+b)) + c||w||^2\)

能夠證實

上述目標函數和上篇文章中獲得的優化目標

\(min_{w,b}\frac{1}{2}||w||^2+C\sum_{i=1}^{N}\xi_i\)

s.t \(y_i(w\cdot x_i+b)>=1-\xi_i, i=1,2,...N\)

\(\xi_i>=0,i=1,2,3...N\)

等價

參考：李航《統計學習方法》