《統計學習方法》之二：感知機學習算法

只有親自用代碼實現纔算真正理解算法,有時候也要在不斷的修改調試中理解，更況且只看不敲代碼呢？

模型：

符號函數f(x) = sign(w*x + b)

策略：

爲了求導方便，選擇誤分類點到超平面的總距離爲損失函數，利用梯度降低進行遞推 

 

代碼實現：

 

% date :  2019/01/02
% author: Dufy
% 關於感知機算法
% 輸入： x1,  x2數據點
%            y  爲分類，1爲正，-1爲負

close all;
clc
clear
format compact
i=0;
a = -1;

x1=[3 4 1];
x2= [3 3 1];
y = [1 1 -1];
n = length(x1);

alpha = 1;

w= [0  0]';
b= 0;   %初值

flag = 0

while( 1 )
    
    
    for i  = 1:n
        if (y(i)*([x1(i) x2(i)] *w +b)) <= 0
            %           更新權重
            w = w+ alpha*y(i)*[x1(i) x2(i)]'
            b= b+alpha * y(i)
            
            flag = flag +1;
        end
        
    end
    
    
    if  flag==0  %分類錯誤點個數 = 0
        break
    end
    
    flag =0;
end

% X = ['最終的分類線爲：y=',num2str(b),'x'];
% disp(X)

% 繪製wx+b=0分類線
xx=0:0.1:7;
for i=1:n
    if y(i)==1
        scatter(x1(i),x2(i),'r*')
    else
        scatter(x1(i),x2(i),'bo')
    end
    hold on
    plot(xx,(-b-w(1)*xx)/w(2),'LineWidth',4)
    %     set('fontweight','bold')
    axis equal
    axis([0, 5, 0, 5]);   % 座標軸的顯示範圍
    xlabel('X1')
    ylabel('X2')
    grid on
end

 

　　運行結果以下：