深度學習筆記（八）LSTM長短期記憶網絡

上一個章節（RNN）最後的時候分析，  當t-k遠大於0的時候，如果 小於零，將會變成一個很小值，如果大於零，將會變成一個很多的數， 前者就是 梯度消失 ，後者就是 梯度爆炸， LSTM主要是解決這個問題。梯度消失圖如下： 其實，長短時記憶網絡的思路比較簡單。原始RNN的隱藏層只有一個狀態，即h，它對於短期的輸入非常敏感。那麼，假如我們再增加一個狀態，即c，讓它來保存長期的狀態，那麼問題不就解決了

>>阅读原文<<