NLP學習04--長短時間記憶網絡LSTM

一.長短時間記憶網絡LSTM簡介 LSTM是對RNN的改進和升級，在RNN模型中，對於長期依賴的問題可能產生梯度消失和梯度爆炸，而在RNN的基礎上改進而來的LSTM則特別適合解決這類須要長時間依賴的問題。LSTM相對於RNN的不一樣使，LSTM將「記憶細胞」進行了改造，而不是像RNN那樣只有一個簡單的激活函數。在LSTM中，須要記錄的信息會一直傳遞，不須要記錄的信息會被截斷掉 以下圖所示，部分輸出

>>阅读原文<<