《統計學習方法》筆記七（1） 支持向量機——線性可分支持向量機

本系列筆記內容參考來源爲李航《統計學習方法》

知識概要

 線性可分支持向量機與硬間隔最大化

支持向量機的學習是在特徵空間進行的。

定義

函數間隔與幾何間隔

間隔最大化

用函數間隔可改寫爲

最大化1/||ω||和最小化1/2(||ω||)²等價，並取γ=1，得

支持向量和間隔邊界

對偶算法

應用拉格朗日對偶性，經過求解對偶問題獲得原始問題的最優解，一是由於對偶問題每每更容易求解，二是天然引入核函數，進而推廣到非線性分類的問題。

推導過程參考7.1.4節，原始問題的對偶形式以下