【火爐煉AI】深度學習004-Elman循環神經網絡

【火爐煉AI】深度學習004-Elman循環神經網絡

(本文所使用的Python庫和版本號: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 )

Elman神經網絡是最先的循環神經網絡，由Elman於1990年提出，又稱爲SRN（Simple Recurrent Network, 簡單循環網絡）。SRN考慮了時序信息，當前時刻的輸出不只和當前時刻的輸入有關，還和前面全部時刻的輸入有關。SRN是RNN結構中最簡單的一種，相對於傳統的兩層全鏈接前饋網絡，它僅僅在全鏈接層添加了時序反饋鏈接。

簡單點來理解，之前的深度神經網絡的計算能夠簡單理解爲：yt=f(Xt)，而SRN卻把上一個時刻的結果也當作輸入放入模型中，至關於yt=f(Xt,yt-1)，因爲這種遞歸性，每個yt結果不單單和自身的特徵向量Xt有關，還和前一個時刻的輸出結果yt-1有關，如此遞歸，便認爲yt和之前的全部的Xt，Xt-1,Xt-2...都有關，那麼yt就至關於「記住了」前面Ｎ個時刻的全部輸入變量X.

那麼SRN是怎麼作到這一點的了？SRN通常分爲四層：輸入層，隱含層，承接層，輸出層，和前面講到的簡單神經網絡不一樣的是，承接層就起到一個臨時變量Var的做用，在t-1時刻獲得的結果yt-1後，把yt-1輸出的同時也保存一份給Var，而後再計算t時刻的結果是，把Var也當作一個變量輸入，因此Var至關於一個延時算子，達到記憶的目的，使得整個網絡結構具備適應時間序列的應變能力。以下圖所示：

圖中的循環層其實就是承接層，名稱不一樣而已，這個網絡結構不太容易看出時序性，故而展開後爲：

圖片來源於Recurrent Neural Network(循環神經網絡).

關於更多更復雜的循環神經網絡結構，能夠參考博文循環神經網絡(RNN, Recurrent Neural Networks)介紹

那麼怎麼創建並訓練SRN模型了？

1. 構建並訓練Elman循環神經網絡

1.1 準備數據集

這次咱們自動生成一系列數據，該系列數據包含四段數據，以下爲數據生成函數。

# 準備數據集
# 用np生成一些序列數據，這個序列數據有四段
def waveform_dataset(points_num):
    '''創建波形數據集，這個數據集含有四段，每一段的數據點數爲points_num'''
    stage1=1*np.cos(np.arange(points_num))
    stage2=2*np.cos(np.arange(points_num))
    stage3=3*np.cos(np.arange(points_num))
    stage4=4*np.cos(np.arange(points_num))
    
    dataset_X=np.array([stage1,stage2,stage3,stage4])# 4行points_num列
    dataset_X=dataset_X.reshape(points_num*4,1) # 轉變爲：4*points_num行，一列，即爲整個序列
    
    amp1 = np.ones(points_num) # 每一段數據的幅度不一樣 分別是1,4,2,0.5
    amp2 = 4 + np.zeros(points_num) 
    amp3 = 2 * np.ones(points_num) 
    amp4 = 0.5 + np.zeros(points_num) 
    dataset_y=np.array([amp1,amp2,amp3,amp4]).reshape(points_num*4,1)
    return dataset_X,dataset_y
複製代碼

能夠看看數據集的分佈狀況：

1.2 構建並訓練模型

直接上代碼，此處用neurolab模塊中的現有函數newelm()來構建一個SRN模型，包含兩層神經網絡。

# 構建並訓練模型
import neurolab as nl
net = nl.net.newelm([[-2, 2]], [10, 1], [nl.trans.TanSig(), nl.trans.PureLin()])
# 建立兩層的神經網絡
net.layers[0].initf = nl.init.InitRand([-0.1, 0.1], 'wb')
net.layers[1].initf= nl.init.InitRand([-0.1, 0.1], 'wb')
net.init()
# 網絡的初始化
error = net.train(dataset_X, dataset_y, epochs=3000, show=300, goal=0.01)
複製代碼

-------------------------------------輸---------出--------------------------------

Epoch: 300; Error: 0.08632353521527447; Epoch: 600; Error: 0.07758197978278435; Epoch: 900; Error: 0.047083147244329486; Epoch: 1200; Error: 0.03948011155907889; Epoch: 1500; Error: 0.03808612642771739; Epoch: 1800; Error: 0.03600983543384789; Epoch: 2100; Error: 0.04108011778013388; Epoch: 2400; Error: 0.0388262030539809; Epoch: 2700; Error: 0.033576743782171244; Epoch: 3000; Error: 0.03329548827926802; The maximum number of train epochs is reached

--------------------------------------------完-------------------------------------

1.3 用訓練好的模型預測新樣本

此處假設訓練集所用的dataset_X爲新樣本，那麼看看獲得的結果和預測值之間的差別。

# 用訓練好的模型預測新樣本
predict_y=net.sim(dataset_X)
plt.plot(dataset_y,label='dataset')
plt.plot(predict_y,label='predicted')
plt.legend()
plt.title('Comparison of Truth and Predicted')
複製代碼

固然，咱們也能夠用函數waveform_dataset()來產生一些新數據，而後用訓練好的模型預測一下試試。

# 生成新的數據集
newset_X,newset_y=waveform_dataset(100)
predict_y=net.sim(newset_X)
plt.plot(newset_y,label='dataset')
plt.plot(predict_y,label='predicted')
plt.legend()
plt.title('Comparison of Truth and Predicted')
複製代碼

能夠發現，對於新產生的序列數據，該模型也可以大致預測出來。

########################小**********結###############################

1，neurolab中已經集成了一些簡單的神經網絡方面的函數，好比最簡單的循環神經網絡模型--Elman循環神經網絡，對於複雜的或者須要本身定義的循環神經網絡，須要用其餘更復雜的深度學習框架。

1，Elman循環神經網絡模型是一種最簡單的循環神經網絡結構，只能解決一些相對簡單的序列數據問題。

#################################################################

注：本部分代碼已經所有上傳到（個人github）上，歡迎下載。

參考資料:

1, Python機器學習經典實例，Prateek Joshi著，陶俊傑，陳小莉譯