人工神經網絡ANNs

參考：

　　1. Stanford前向傳播神經網絡Wiki

　　2. Stanford後向傳播Wiki

　　3. 神經網絡CSDN blog

　　4. 感知器

　　5. 線性規劃

　　6. Logistic迴歸模型

內容：

　 1. ANNs又稱鏈接模型（connection model），它是一種模仿動物神經網絡行爲特徵，進行分佈式並行信息處理的數學模型。它是由一系列簡單的單元相互密集鏈接構成的，其中每個單元有必定數量的實值輸入，併產生單一的實數值輸出。

　　2. m-of-n函數：要使函數輸出爲真，那麼感知器的n個輸入中至少有m個必須爲真。OR函數至關於m=1，AND函數至關於m=n。

　　3. 某種類型的ANN系統是以被稱爲感知器（perception）的單元爲基礎的。感知器是以一個實數值向量做爲輸入，計算這些輸入的線性組合，而後若是結果大於某個閾值，就輸出1，不然輸出-1。

　　

　　這裏-w0就是閾值。這裏的學習任務就是權向量的值。

 　　

　　　　　　　　　　圖1 單輸出神經網絡

 　　

　　

　　

　　　　　　　　　　　　　　圖2 多輸出神經網絡

 　　4. 學習任務算法：感知器法則與delta法則。

　　感知器法則（前提是訓練樣例線性可分）：爲獲得可接受的權向量，從隨機的權值開始，而後反覆地應用這個感知器到每一個訓練樣例，只要它誤分類樣例就修改感知器的權值。重複這個過程，直到感知器正確分類全部的訓練樣例。

　　

　　其中，t是當前訓練樣例的目標輸出，o是感知器的輸出，η是一個正的常數稱爲學習速率（learning rate）。

　　delta法則（線性不可分也能夠）：使用梯度降低（gradient descent）來搜索可能的權向量的假設空間，以找到最佳擬合訓練樣例的權向量。

　　把delta訓練法則理解爲訓練一個無閾值的感知器，也就是一個線性單元，它的輸出以下：

　　

　　假設（權向量）相對於訓練樣例的訓練偏差以下：

　　

　　其中，D是訓練樣例集合，t_d是訓練樣例d的目標輸出，o_d是線性單元對訓練樣例d的輸出。這裏的1/2是爲了抵消求導後的2。其梯度以下：

　　

 　　當梯度被解釋爲權空間的一個向量時，它肯定了是E最陡峭上升的方向。

　　

　　5. 單個感知器只能表示線性決策面，而反向傳播算法所學習的多層網絡能表示非線性曲面。多層網絡須要這樣一種單元，它的輸出是輸入的非線性函數，而且輸出是輸入的可微函數。好比sigmoid單元，它的輸出以下：

　　

 　　偏差E以下：

　　

　　其中，outputs是網絡輸出單元的集合，t_kd和o_kd是與訓練樣例d和第k個輸出單元相關的輸出值。

　　➊ 網絡中每一個結點被賦予一個序號，這裏的「結點」要麼是網絡的輸入，要麼是網絡中某個單元的輸出。

　　➋ x_ji表示結點i到單元j的輸入，w_ji表示對應的權值。

　　➌ δ_n表示與單元n相關聯的偏差項。

 

　　對於網路的每一個輸出單元k，它的偏差項爲：

　　

　　對於網絡的每一個隱藏單元h，它的偏差項爲：

　　

　　權值更新：