學習SVM（三）理解SVM中的對偶問題

網上有不少關於SVM的優秀博客與其餘學習資料，而我的感受本系列博客與其餘關於SVM的文章相比，多了一些細節的證實，好比線性分類器原理，支持向量原理等等。 
一樣是SVM，在《支持向量機導論》中有170+頁的內容，而在《機器學習》（周志華）一書中僅僅是一個章節的內容，中間略過了細節推導的過程，這些被略過的推導過程在本系列博客中都會加入，也是在自學時驗證過程當中的一些總結，若有問題請指正。

在上一篇的內容中（學習SVM（二） 如何理解支持向量機的最大分類間隔），咱們最後咱們推導出優化目標爲：

其中約束條件爲n個，這是一個關於w和b的最小值問題。

根據拉格朗日乘子法：就是求函數f(x1,x2,…)在g(x1,x2,…)=0的約束條件下的極值的方法。其主要思想是將約束條件函數與原函數聯繫到一塊兒，使能配成與變量數量相等的等式方程，從而求出獲得原函數極值的各個變量的解。便可以求得：

 
其中a就是拉格朗日乘子法進入的一個新的參數，也就是拉格朗日乘子。 
那麼問題就變成了：

 

所謂的對偶問題就是：

 

作這種轉換是爲了後面的求解方便，由於最小值問題，求導就能夠啦！！ 
下面對w和b分別求偏導（這裏是純數學計算，直接給結果了）： 

 

在這裏求出了兩個結果，帶入到L(w,b,a)中：

 

因此問題被轉化成爲： 
 

 
注意這裏的約束條件有n+1個。

添加符號，再一次轉化條件：

 

 

原文連接：學習SVM（三）理解SVM中的對偶問題