理解LSTM和GRU

LSTM，全稱（Long Short Term Memory ,LSTM）長短期記憶網絡。 由於傳統RNN有梯度消失和爆炸的問題，在反向傳播時，梯度最終的結果會趨勢0或無窮，引發嚴重的數值問題，從而參數得不到更新，學習能力有限，在實際任務中的效果往往不到人們所想的效果和需求。所以LSTM出現了。 LSTM可以對有價值的信息進行長期記憶，從而減小循環神經網絡的學習難度，從而應用在語音識別，命名主體識

>>阅读原文<<