神經網絡_線性神經網絡 1 (Nerual Network_Linear Nerual Network 1)

2019-04-08 16:59:23

1 學習規則(Learning Rule)

 1.1 赫布學習規則(Hebb Learning Rule)

       1949年，Hebb提出了關於神經網絡學習機理的「突觸修正」的假設：當神經元的前膜電位、後膜電位同時爲正時，突觸傳導增強；電位相反時，突觸傳導減弱。根據次假設定義權值ω的調整方法，稱該方法爲Hebb學習規則。

 Hebb學習規則中，學習信號等於神經元的輸出：

r=f(W^T_j*X)

權值向量W調整公式：

ΔW=η*f(W^T_j*X)*X

權值向量W的分向量Δω_ij調整公式：

Δω_j=η*f(W^T_j*X)*x_j，j=0,1,2,…,n

爲保證Hebb learning rule 的學習效率，對權值設置飽和值。

for examle:

1 參數設置

輸入：X¹=[1,-2,1.5]^T、X¹=[1,-0.5,-2]^T、X¹=[0,-1,-1]^T，學習率 η=1，初始化權值W₀=[0 0 0]^T，傳遞函數使用hardlim。

2 計算步驟(即權值調整過程)

權值W₁=W₀+hardlim(W₀^T*X¹)*X¹=[1 -2 1.5]；

權值W₂=W₁+hardlim(W₁^T*X²)*X²=[1 -2 1.5]；

 權值W₃=W₂+hardlim(W₂^T*X³)*X³=[1 -3 0.5]；

 

1.2 感知器學習規則(Perceptron Leaning Rule)

 1 感知器的學習規則

r=d_j-o_j

式中，d_j爲指望輸出，o_j=f(W_j^T*X)

 感知器採用符號函數做爲轉移函數，則

f(W_j^T*X)=sgn(W_j^T*X)={1，W_j^T*X≥0；0，W_j^T*X<0}

由上式得權值調整公式

ΔW_j=η*[d_j-sgn(W_j^T*X)]*X

Δω_j=η*[d_j-sgn(W_j^T*X)]*x_j

2 Hebb learning principle 和 Perceptron learning principle的不一樣之處

Hebb learning principle 採用輸出結果做爲權值調整的組成部分，Perceptron learning principle 採用偏差做爲權值調整的組成部分。

1.3 最小均方差學習規則(Least Mean Square Error Leaning Rule)

1.3.1 LMS學習規則特色

感知器學習規則訓練的網絡，其分類的判決邊界每每距離各分類模式靠的比較近，這使得網絡對噪聲比較敏感；

LMS Learing Rule是均方偏差最小，進而使得判決邊界儘量遠離分類模式，加強了網絡的抗噪聲能力。

但LMS算法僅僅適用於單層的網絡訓練，當須要設計多層網絡時，須要尋找新的學習算法，for example,Back Progation Nerual Network Algorithm。

       1962年，Bernard Widrow 和 Marcian Hoff 提出Widrow-Hoff Learning Princple，該方法的特色是使實際神經元輸出與指望輸出之間的平方差最小，所以又稱爲Least Mean Square Erorr Princple。

LMS調整規則應用較爲普遍：

1 信號處理

2 BP算法的引領者

1.3.2 LMS學習規則計算

LMS的學習信號

r=t_j-W_j^T*X

權值調整量

ΔW_j=η*(t_j-W_j^T*X)*X

權值份量調整

Δω_j=η*(t_j-W_j^T*X)*x_j，j=0,1,2,...,n

t_j表示指望輸出，W_j^T*X表示實際輸出

1.3.2 MSE學習規則

均方差(MSE)，是預測數據與原始數據的偏差平方的和的均值

MSE=(∑(t_i-a_i)²)/n，其中i=1,2,...,n

Matlab中存在該函數，能夠直接調用，e=[1 2 3]，perf=mse(e)=(1²+2²+3²)/n=4.66666667。

 

2 線性神經網絡

2.1線性神經網路結構

1 參數設置

神經網絡結構函數 Purelin