用Python實現感知機 （python機器學習一）

0x01 感知機

感知機是一種二類分類的線性分類器，屬於判別模型（另外一種是生成模型）。簡單地說，就是經過輸入特徵，利用超平面，將目標分爲兩類。感知機是神經網絡和支持向量機的基礎。

假設輸入空間爲，輸出空間是.其中，爲一個特徵向量，。

定義從輸入空間到輸出空間的函數：爲感知機。爲感知機的權重，爲偏置量，。

感知機最終獲得的結果是經過一個超平面，將正實例點和負實例點區分開。對應於二維平面，即經過肯定一條直線對分佈於平面座標系中的兩種點進行區分，已達到給出一個點的座標（特徵向量），就能肯定這個點的類別。

0x02 算法

監督學習有三大要素，模型，策略，和算法。咱們採用的是感知機學習模型，下面咱們說一下算法和學習策略。

具體步驟：

1. 肯定初始的和；
2. 隨機從訓練樣本中選取點，預測值爲；
3. 若是預測值不等於真實值，即，更新和；
4. 重複步驟二、3，直到達到訓練次數或小於指定偏差；
5. 輸入未知點的特徵向量，。

而在第3步中如何更新和，則由學習策略來決定。這裏咱們的損失函數採用全部誤分類點到超平面的總距離，即，爲誤分類點的集合。根據最小梯度降低法，，。這就是感知機學習模型的所有算法，下面用python來實現感知機。

0x03 代碼實現

首先定義符號函數：

1 # 符號函數
2 def sign(v):
3     if v > 0:
4         return 1
5     else:
6         return -1

訓練函數：

 1 def training():
 2     train_data1 = [[1, 3, 1], [2, 5, 1], [3, 8, 1], [2, 6, 1]]  # 正樣本
 3     train_data2 = [[3, 1, -1], [4, 1, -1], [6, 2, -1], [7, 3, -1]]  # 負樣本
 4     train_datas = train_data1 + train_data2  # 樣本集
 5 
 6     weight = [0, 0]  # 權重
 7     bias = 0  # 偏置量
 8     learning_rate = 0.5  # 學習速率
 9 
10     train_num = int(raw_input("train num: "))  # 迭代次數
11 
12     for i in range(train_num):
13         train = random.choice(train_datas)
14         x1, x2, y = train
15         predict = sign(weight[0] * x1 + weight[1] * x2 + bias)  # 輸出
16         print("train data: x: (%d, %d) y: %d  ==> predict: %d" % (x1, x2, y, predict))
17         if y * predict <= 0:  # 判斷誤分類點
18             weight[0] = weight[0] + learning_rate * y * x1  # 更新權重
19             weight[1] = weight[1] + learning_rate * y * x2
20             bias = bias + learning_rate * y  # 更新偏置量
21             print("update weight and bias: "),
22             print(weight[0], weight[1], bias)
23 
24     print("stop training: "),
25     print(weight[0], weight[1], bias)
26 
27     return weight, bias

測試函數：

 1 # 測試函數
 2 def test():
 3     weight, bias = training()
 4     while True:
 5         test_data = []
 6         data = raw_input('enter test data (x1, x2): ')
 7         if data == 'q': break
 8         test_data += [int(n) for n in data.split(',')]
 9         predict = sign(weight[0] * test_data[0] + weight[1] * test_data[1] + bias)
10         print("predict ==> %d" % predict)

 

0x04 總結

感知機是神經網絡和支持向量機的基礎，實現起來並不難，可是涉及到不少思想。接下來會寫寫k-近鄰算法。

本人也是機器學習新手，上面的介紹都是我在學習過程當中的總結，若有不正確的地方，歡迎指正。