LSTM 及 GRU 介紹

一、普通RNN

　　處理序列數據的神經網絡。

二、LSTM

　　LSTM全名是long short-term memory 長短時間記憶， 是一種特殊的RNN， 主要爲了解決長序列訓練過程當中的梯度消失和梯度爆炸問題。

　　相比普通RNN， LSTM可以在更長的序列中有更好的表現。

LSTM 內部主要有三個階段：

(1) 忘記階段；

　　對上一個節點傳進來的輸入進行選擇性忘記。"忘記不重要的， 記住重要的"。

經過忘記門控實現。

(2) 選擇記憶階段；

　　將這個階段的輸入有選擇地進行"記憶"。哪些重要則着重記錄下來，哪些不重要則少記一些。

(3) 輸出階段。

三、總結