【《機器學習》第6章支持向量機】間隔與支持向量+對偶問題+核函數+軟間隔與硬間隔

線性分類器回顧

在一個線性分類中，我們可能會擬合出多條直線來完全區分樣本類別，但是這些直線中有沒有好壞呢？

答案是肯定的。

間隔與支持向量

• 支持向量：距離超平面最近的樣本點（可能是兩個或者多個）。
• 間隔：兩個異類 支持向量到超平面的距離之和 。

支持向量機就是尋找具有最大間隔 的超平面。

間隔方程

見課件例題

優化問題的類型

無約束優化問題

求解方法：求取函數 f ( x ) f(x) f(x) 的導數，然後令其爲零，可以求得候選最優值，再在這些候選值中驗證；如果是凸函數，可以保證是最優解。

有等式約束優化問題

即把等式約束 h i ( x ) h_i(x) hi​(x) 用一個係數與 f ( x ) f(x) f(x) 寫爲一個式子，稱爲拉格朗日函數，而係數稱爲拉格朗日乘子。通過拉格朗日函數對各個變量求導，令其爲零，可以求得候選值集合，然後驗證求得最優值。

既有等式約束又有不等式約束優化問題

把所有的等式約束、不等式約束與 f ( x ) f(x) f(x) 寫成一個式子，這個式子也叫拉格朗日函數，係數也稱爲拉格朗日乘子，通過一些條件，可以求出最優值的必要條件，這個條件就稱爲 KKT條件。

對偶問題

解的稀疏性

解的稀疏性 ：訓練完成後，最終的模型僅與支持向量有關！

軟間隔與硬間隔

• 硬間隔：所有的樣本都滿足約束條件
• 軟間隔：允許一定量的樣本不滿足約束條件

核函數

如果在一個二維平面上有【（0，0），（0，1），（1，0），（1，1）】，其中【（0，0），（1，1）】屬於一類，【（0，1），（1，0）】屬於另外一類，那麼我們用支持向量機就不能進行劃分。那我們該怎麼做呢？

數學上可以證明，如果原始空間是有限維，即屬性數有限，則一定存在一個高維特徵空間使樣本可分。將樣本從原始空間映射到一個更高維的特徵空間 , 使樣本在這個特徵空間內線性可分。

核函數在這裏的作用是將樣本數據擴展到高維。

每一個核函數都隱式的定義了一個特徵映射函數。

這個時候設計核函數就成了決定支持向量機性能的關鍵！