深度學習筆記（八）LSTM長短時間記憶網絡

上一個章節（RNN）最後的時候分析，  當t-k遠大於0的時候，若是 小於零，將會變成一個很小值，若是大於零，將會變成一個不少的數， 前者就是 梯度消失 ，後者就是 梯度爆炸， LSTM主要是解決這個問題。梯度消失圖以下： 其實，長短時記憶網絡的思路比較簡單。原始RNN的隱藏層只有一個狀態，即h，它對於短時間的輸入很是敏感。那麼，假如咱們再增長一個狀態，即c，讓它來保存長期的狀態，那麼問題不就解決

>>阅读原文<<