機器學習(十一) 支持向量機 SVM（上）

1、什麼是支撐向量機SVM （Support Vector Machine）

SVM(Support Vector Machine)指的是支持向量機，是常見的一種判別方法。在機器學習領域，是一個有監督的學習模型，一般用來進行模式識別、分類以及迴歸分析。

Vapnik等人在多年研究統計學習理論基礎上對線性 分類器提出了另外一種設計最佳準則。其原理也從線性可分提及，而後擴展到線性不可分的狀況。甚至擴展到使用非線性函數中去，這種分類器被稱爲支持向量機（Support Vector Machine，簡稱SVM）。支持向量機的提出有很深的理論背景。

支持 向量機方法是在後來提出的一種新方法。

SVM的主要思想能夠歸納爲兩點：

1. 它是針對線性可分狀況進行分析，對於線性不可分的狀況，經過使用非線性 映射算法將低維輸入空間線性不可分的樣本轉化爲 高維特徵空間使其線性可分，從而使得高維特徵空間採用線性算法對樣本的非線性特徵進行線性分析成爲可能。
2. 它基於結構風險最小化理論之上在特徵空間中構建最優超平面，使得學習器獲得全局最優化，而且在整個樣本空間的指望以某個機率知足必定上界。

2、SVM背後的最優化問題

 

 

 

 

3、Soft Margin SVM  和 SVM 正則化

 

 

 

4、scikit-learn中的SVM

 

 

 

5、SVM中使用多項式特徵和核函數