解決梯度消失梯度爆炸強力推薦的一個算法-----LSTM（長短時記憶神經網絡）

LSTM（長短時記憶） 應爲在簡單的RNN（vanilla RNN結構）中存在時序過長時會導致梯度消散，梯度爆炸的問題，而長短時記憶LSTM就是解決vanilla RNN中的不足，可以有效的減少梯度消散問題。 LSTM 中引⼊了3個⻔，即遺忘⻔（input gate）、輸入⻔（forget gate）和輸出⻔（output gate），以及與隱藏狀態形狀相同的記憶細胞（某些⽂獻把記憶細胞當成⼀種特

>>阅读原文<<