LSTM初探

要說LSTM，那就得先從RNN提及，RNN是一種對序列型數據進行建模的工具，在語音識別，機器翻譯等領域有很好的應用。LSTM能夠說是RNN的改進版，簡單來講，RNN對長距離序列處理時會出現梯度消失或者爆炸這種現象，使得訓練不起來（注：梯度消失或者爆炸問題不光在RNN中出現，在其餘神經網絡中也有，好比在使用sigmoid的激活函數時就可能出現，只不過那邊處理的方法能夠是替換激活函數，好比爲Relu）

>>阅读原文<<