LSTM理論知識講解

結構 1. RNN與LSTM的對比 RNN: LSTM: 其中的notation： 這裏要注意：上圖中四個黃框，每一個都是普通的神經網絡，激活函數就是框上面所標註的。 通過對比可以看出，RNN的一個cell中只有一個神經網絡，而LSTM的一個cell中有4個神經網絡，故一個LSTM cell的參數是一個RNN cell參數的四倍。 從上圖也可以看出，原來的一個RNN cell只需要存儲一個隱藏層狀

>>阅读原文<<