DL雜記:再議長短時記憶網絡(Long Short Term Memory Network, LSTM)

對rnn的一些模型結構可以查看這篇文章:RNN:幾張圖搞懂RNN模型構建 下面來 着重看一些lstm: LSTM:是一種改進之後的循環網絡,可以解決rnn無法處理長距離依賴的問題。 首先看一下原始rnn: 其實rnn可以看成是一個很深的network。 如下圖所示的形式。 但是原始rnn存在梯度消失 或者 梯度爆炸的情況, 梯度消失可以通過累積來體現(激活函數等)、梯度爆炸可以通過累加再體現(累加
相關文章
相關標籤/搜索