機器學習筆記5-支持向量機2

1.低維到高維的映射

根據上一節的結論，咱們主要要作的就是解決線性可分的問題，線性可分的問題最後會被轉換爲一個凸函數的問題就認爲是有解的。 可是並非每一個問題都是線性可分的。遇到線性不可分的問題，咱們能夠將低維映射到高維。好比，二維映射到三維：
當特徵空間的維度M上升時，對應的（ω，b）待估計參數的維度也會隨之上升，整個模型的自由度也會隨之上升，就有更大的機率將低維數據分開。 這裏問題就由線性不可分變成了怎麼找到φ(x),來完成低維到高維的映射。

2.核函數

爲了解決上面找φ(x)的問題，引入了一個新的概念：核函數 核函數是一個實數，φ(x)T,φ(x)是維數相同的兩個向量，又由於φ(x)T是和φ(x)的轉置，兩個維數相同的向量的內積就會獲得一個數。

核函數K和φ(x)是一一對應的關係，核函數的形式不能隨意的取，要知足下面的兩個條件（這是一個定理，先記住就行了）： Mercer定理：

3.對偶問題

原問題：

對偶問題定義：

定理一：

對偶差距： 原問題和對偶問題的差就是對偶差距

強對偶定理： 原問題的目標函數是凸函數的話，限制條件若是是線性函數，那麼原問題的解和對偶問題的解是相同的

kkt條件：

總結：

1.先講了由於不少狀況是沒法直接作到線性可分的，因此有了低維到高維的映射，來解決地位線性不可分的狀況，轉換到高維變成線性可分的，再用線性可分的方式來解決問題
2.低維到高維的映射關鍵是要找到φ(x)Tφ(x)，引入核函數K(x1,x2)來替換φ(x)Tφ(x)，接着講到了核函數和φ(x)Tφ(x)是一一對應的，只要知道了其中一個就能夠轉換爲另外一個形式，而且講到了 mercer定理。
3.講了對偶問題，將原問題的求最小值轉換爲了最大值，證實了對偶問題是怎麼推導出來的，而且引伸出對偶差距，強對偶定理，kkt條件等概念。