Supervised Sequence Labelling with Recurrent Neural Networks 筆記 -LSTM

Chapter 4 Long Short-Term Memory 4.1Network Architecture 乘法門允許LSTM存儲單元在長時間內存儲和訪問信息,從而減輕梯度消失的問題。例如,只要輸入門保持關閉(即有一個 激活接近於0),單元的激活狀態不會被網絡中新的輸入所覆蓋。並且可以通過打開輸出門,把這個信息輸出給更後面的序列。(也就是說利用這種方法保持了單元的激活信息,給後面的序列用)L
相關文章
相關標籤/搜索