《統計學習方法》極簡筆記P2：感知機數學推導

感知機模型

輸入空間是$chisubseteqmathbb{R}^n$,輸出空間是$y={+1,-1}$感知機定義爲：$f(x)=sign(wx+b)$

感知機學習策略

輸入空間任一點$x_0$到超平面S的距離：$frac{1}{||w||}|wx_0+b|$誤分類數據$(xi,yi)$,有$-yi(wxi+b)>0$誤分類點$xi$到超平面S的距離$-frac{1}{||w||}yi(wx_i+b)$誤分類點集合M,全部誤分類點到超平面S的距離$-frac{1}{||w||}sum{xiin{M}}yi(wxi+b)$由此，感知機損失函數定義爲$L(w,b)=-sum{xiin{M}}yi(wxi+b)$

感知機學習算法（原始形式）

輸入：訓練數據集$T={(x1,y1),(x2,y2),(xN,yN)...,(x1,y1)}$$xiinchisubseteqmathbb{R}^n$,$yiin{y}={+1,-1}$,學習率$eta$輸出：w,b;感知機模型$f(x)=sign(wx+b)$(1)選取初值$w0$,$b0$(2)訓練集選取$(xi,yi)$(3)IF $yi(wxi+b)≤0$$w←w+eta{yixi}$$b←b+eta{y_i}$(4)轉至(2),直到沒有誤分類點。

另：感知機算法是收斂的，在訓練數據及上的誤分類次數k知足$k≤(frac{R}{gamma})^2$

感知機學習算法（對偶形式）

由原始形式$w←w+eta{yixi}$$b←b+eta{y_i}$進行n次,w,b關於$(xi,yi)$增量分別爲$aiyixi$和$aiy_i$記$ai=nieta$,最後學習到的w,b表示爲$w=sum{i=1}^{N}aiyixi$$b=sum{i=1}^{N}aiy_i$輸入：訓練數據集$T={(x1,y1),(x2,y2),(xN,yN)...,(x1,y1)}$$xiinchisubseteqmathbb{R}^n$,$yiin{y}={+1,-1}$,學習率$eta$輸出：a,b;感知機模型$f(x)=sign(sum{j=1}^{N}ajyjxj·x+b)$其中$a=(a1,a2,...,a_N)^T$(1)$a←0$;$b←0$(2)訓練集選取$(xi,yi)$(3)IF $yi(sum{j=1}^{N}ajyjxj·xi+b)≤0$$ai←ai+eta$$b←b+eta{y_i}$(4)轉至(2),直到沒有誤分類點。記Gram矩陣$G=[x_i·x_j]_{N×N}$