支持向量機2—線性支持向量機與軟間隔最大化

1、線性支持向量機

線性可分問題的支持向量機學習方法，對線性不可分訓練數據是不適用的。因爲這時上述方法中的不等式約束並不能都成立。這時就需要修改硬間隔最大化，使其成爲軟間隔最大化。

假設給定一個特徵空間上的訓練數據集T={（x1,y1），（x2,y2），...，（xN,yN）}，其中xi∈χ=Rn（R的n次方），yi∈γ={-1,+1}，i=1,2,...,N, xi爲第i個特徵向量，yi爲xi的類標記。再假設訓練數據集不是線性可分的。通常情況是，訓練數據中有一些特異點，將這些特異點去除後，剩下大部分的樣本點組成的集合是線性可分的。

線性不可分意味着某些樣本點(xi,yi)不能滿足函數間隔大於等於1的約束條件。即不能滿足 yi(w*xi+b)-1≥0 這個條件。爲了解決這個問題，可以對每個樣本點(xi,yi)引進一個鬆弛變量 ξi≥0, 使得函數間隔加上鬆弛變量大於等於1。這樣約束條件變爲yi(w*xi+b)≥1-ξi, 同時，爲每個鬆弛變量ξi支付一個代價ξi。

最小化目標函數(7.32)包含兩層含義：使0.5*||w||2儘量小即間隔大，同時使誤分類點的個數儘量小，C是調和二者的係數。

2、學習的對偶算法

步驟(2)中，對任一適合條件0<aj*<c的aj*，按式(7.51)都可求出b*，但是由於原始問題(7.32)~(7.34)對b的解並不唯一，所以實際計算時可以取在所有符合條件的樣本點上的平均值。

3、支持向量

軟間隔的支持向量xi或者在間隔邊界上，或者在間隔邊界與分離超平面之間，或者在分離超平面誤分一側。

由上面的KKT條件知，若ai*<C，則ξi=0，支持向量xi恰好落在間隔邊界上；若ai*=C, 0<ξi<1，則分類正確，xi在間隔邊界與分離超平面之間；若ai*=C, ξi=1，則xi在分離超平面上；若ai*=C, ξi>1，則xi位於分離超平面誤分一側。

4、合頁損失

參考：《統計學習方法》李航