Supervised Sequence Labelling with Recurrent Neural Networks 筆記 -LSTM

Chapter 4 Long Short-Term Memory 4.1Network Architecture 乘法門允許LSTM存儲單元在長時間內存儲和訪問信息，從而減輕梯度消失的問題。例如，只要輸入門保持關閉(即有一個 激活接近於0)，單元的激活狀態不會被網絡中新的輸入所覆蓋。並且可以通過打開輸出門，把這個信息輸出給更後面的序列。（也就是說利用這種方法保持了單元的激活信息，給後面的序列用）L

>>阅读原文<<