機器學習：支持向量機SVM-軟間隔
上兩篇（
機器學習：支持向量機SVM簡述，機器學習：支持向量機SVM對偶問題）都是討論的硬間隔，即要求每個樣本的都正確分類，但在實踐中這個要求可能不太容易實現，所以提出軟間隔：允許某些樣本不滿足約束Yi(w'Xi+b)>=1.
雖然允許某些樣本不滿足約束，但不滿足約束的樣本應該儘可能少，於是優化目標可以寫成：
其中：
是「0/1損失函數」。但該函數非凸、非連續，數學性質不好，所以出現了一些替代函數，常用的如：hinge損失：
於是，優化目標變爲：
引入「鬆弛變量」
ξ，將上式變爲：
通過拉個朗日乘子法得到上式的拉格朗日函數：
令L對w,b,
ξ的偏導數爲0，得：
代入拉格朗日函數得到對偶問題：
這裏的KKT條件要求：
參考資料：周志華《機器學習》
相關博文：