LSTM和GRU

前言 傳統的RNN到後期會出現梯度消失現象，前面的內容到後面已經沒有辦法get到，爲此，LSTM和GRU誕生了。 LSTM 長短期記憶模型（long-short term memory）是一種特殊的RNN模型，是爲了解決RNN模型梯度彌散的問題而提出的；在傳統的RNN中，訓練算法使用的是BPTT，當時間比較長時，需要回傳的殘差會指數下降，導致網絡權重更新緩慢，無法體現出RNN的長期記憶的效果，因此

>>阅读原文<<