LSTM神經網絡 和 GRU神經網絡

LSTM是什麼 LSTM即Long Short Memory Network，長短時記憶網絡。它其實是屬於RNN的一種變種，可以說它是爲了克服RNN無法很好處理遠距離依賴而提出的。 我們說RNN不能處理距離較遠的序列是因爲訓練時很有可能會出現梯度消失，即通過下面的公式訓練時很可能會發生指數縮小，讓RNN失去了對較遠時刻的感知能力。 解決思路 RNN梯度消失不應該是由我們學習怎麼去避免，而應該通過改

>>阅读原文<<