豬豬的機器學習筆記（十二）支持向量機

支持向量機

做者：櫻花豬

 

摘要：

本文爲七月算法（julyedu.com）12月機器學習第十二次次課在線筆記。SVM是一種常見的分類器，在很長一段時間起到了統治地位。而目前來說SVM依然是一種很是好用的分類器，在處理少許數據的時候有很是出色的表現。

 

引言：

     SVM是一個很是常見的分類器，在真正瞭解他的原理以前咱們多多少少都有接觸過他。本位將會詳細的介紹SVM的原理、目標以及計算過程和算法步驟。咱們針對線性可分數據和線性不可分數據介紹了線性支持向量機和非線性支持向量機，並在最後簡單闡述非線性支持向量機的重要概念核函數。

     SVM實際上就是一個求解極值凸優化的過程，想要更好的瞭解SVM必定要很是熟悉有關於「凸優化」的內容。當了解「凸優化」後，SVM實際上變得很是容易。

 

預備知識

凸優化

 

1、線性可分支持向量機

1、概念

給定線性可分訓練數據集，經過間隔最大化獲得的分離超平面爲：

相應的分類決策函數：，這個決策函數成爲線性可分支持向量機。

某個肯定的特徵空間轉換函數，它的做用是將x映射到(更高的)維度。（核函數）

求解分離超平面問題能夠等價爲求解相應的凸二次規劃問題。

 

分割平面：

訓練集：

目標值：

新數據的分類：

二、求解方法

創建目標函數：經過等比例縮放w的方法，使得兩類點的函數值都知足。

原目標函數：

 

新目標函數：

 

拉格朗日乘子法能夠得出：

 

原問題：

原始問題的對偶問題：

計算方案：

一、計算：

 

推導方式：目標函數的凸優化求極值，爲約束最優化解。

二、求得分割超平面

     

3、分類決策函數

 

2、線性支持向量機：

若數據線性不可分，則增長鬆弛影子，使函數間隔加上鬆弛變量大於等於1，則約束條件變成：

目標函數：

求解過程相似線性可分支持向量機，可是在求的時候，有所區別（要考慮鬆弛因子）

 

實踐中每每取支持向量的全部值取平均，做爲b*

 

3、核函數

能夠使用核函數，將原始輸入空間映射到新的特徵空間，從而，使得本來線性不可分的樣本可能在覈空間可分。

常見的核函數：多項式核函數、高斯核函數、字符串核函數。

在實際應用中，每每依賴先驗領域知識/交叉驗證等方案才能選擇有效的核函數。

若是有更多先驗信息，則使用高斯核函數。

來自爲知筆記(Wiz)