LSTM部分整理

短時記憶 RNN 會受到短時記憶的影響。如果一條序列足夠長，那它們將很難將信息從較早的時間步傳送到後面的時間步。 因此，如果你正在嘗試處理一段文本進行預測，RNN 可能從一開始就會遺漏重要信息。 在反向傳播期間，RNN 會面臨梯度消失的問題。 梯度是用於更新神經網絡的權重值，消失的梯度問題是當梯度隨着時間的推移傳播時梯度下降，如果梯度值變得非常小，就不會繼續學習。     標準的LSTM 前面提到

>>阅读原文<<