線性可分SVM中線性規劃問題的化簡

在網上找了許多關於線性可分SVM化簡的過程，但彷佛都不是很詳細，因此憑藉本身的理解去詳解了一下。

線性可分SVM的目標是求得一個超平面（其實就是求w和b），在其在對目標樣本的劃分正確的基礎上，使獲得該超平面最近的樣本的幾何間隔最遠。寫成線性規劃問題即爲

其中γ爲最近點到超平面的幾何間隔,特別的間隔γ^=||w||×幾何間隔γ（間隔γ^與幾何間隔γ是兩種不一樣的概念），那麼咱們就能夠將約束和條件改寫爲

 

而γ^是經過將離超平面最近的樣本點代入超平面獲得的，即γ^=y_i(wx_i+b)，而對於x_i是離超平面最近的一個已知的樣本，因此咱們能夠經過調整w和b來使得y^爲一個任意正實數（特別注意不爲0，由於對於樣本咱們是已經獲得告終果y_i,可是若是y^爲0,則與結果y_i矛盾），而對於任意的已經肯定的w和b咱們即可以獲得一個肯定的γ^的值。即以前的式子γ^=y_i(wx_i+b)，只不過此時,γ^變爲了一個肯定的值，兩邊同時除以γ^便獲得了1=y_i(wx_i+b)/y^。而這裏γ^=y_i(wx_i+b)與1=y_i(wx_i+b)/y^是等價的，由於就像高中所學的直線方程6X+8Y+4=0與3X+4Y+2=0是等價的同樣，因此對於任意的正實數γ^均可以劃成形如1=y_i(wx_i+b)/y^的式子。再優化獲得1=y_i(wx_i/γ^+b/γ^)。以前提到了x_i是離超平面最近的一個已知的樣本，因此對於任意的已知樣本帶入y_i(wx/γ^+b/γ^)都將大於1。而在這裏咱們用新的w和b代替w/γ^和b/γ^，因此相對應以前的約束變爲了y_i(wx_i/γ^+b/γ^)-1>=0，目標函數γ/||w||咱們變爲了1/||w||，很簡單的分式等價關係，在分母縮小n倍後分子也縮小n倍，則結果不變。

  網上還有一種想法是直接肯定γ^（離超平面最近樣本的間隔）爲1，我以爲可能不少人理解不了這裏的y^爲何是能夠是一個定值，認爲這裏的y^與w和b的取值有關，我以前提到肯定的w和b以及樣本x_i能夠惟一肯定γ^。可是反過來若是肯定了一個γ和一個樣本x_i是否可以惟一肯定w和b呢？固然顯示是不能。仍是拿直線方程舉例子，若是已知一個點（2,3）帶入ax+by+c結果爲1，那麼2a+3b+c=1結果有多少個呢？顯然是無數個{a,b,c}的解集，因此並不能經過肯定的γ^來求解肯定的w和b。我以前也提到了對於任意肯定的w和b算得的γ^式子能夠化成1，相反，對於任意肯定的在γ^=1的前提下算得的w和b咱們經過放大他們的係數能夠獲得任意的正實數，拿回以前的2a+3b+c=1，其中的一個解集爲a=3,b=-2,c=1。將a，b，c都放大兩倍變爲a=6,b=-4,c=2則獲得結果γ^爲2，以此類推，對於任意使得γ^爲某一正實數的w和b咱們都能在γ^=1時找到另外一組w和b與之等價，而y^的取值會隨着w和b成相同倍數的增長，這裏咱們的目標函數剛好是γ^/||w||，因此是否將γ^放大成另外一個實數並不重要，由於倍數都被約了。因此咱們只關心在y^在爲一個正實數時，找到那麼一個w使得目標函數最大，爲了方便起見才取γ^爲1，說了這麼多其實就是想說明其實γ^取多少並不影響目標結果（影響w的取值是必定的，由於他改變了約束）。

  對於求1/||w||最大即爲||w||²*1/2這一等價關係太簡單了因此就很少說了

  綜上便有了下面這樣一個改寫了的式子

  以上即是博主我的對於化簡過程的理解，若有錯誤或者本身的想法歡迎交流。

 (°ー°〃)