長短時間記憶神經Long Short-Term Memory（ LSTM）

LSTM RNN 基本的算法思想是隨時間反向傳播算法，但在隨時間反向傳播過程當中，跨時間步和長時間學習使後續節點的梯度每每不能按照初值傳到最初的位置，容易出現梯度彌散問題。算法 爲了克服梯度彌散的缺點,RNN的衆多變體被提出，其中 LSTM 就是 RNN 變體中一種普遍應用的經典變體。LSTM 單個神經 元的具體結構如圖 2 所示。網絡  LSTM 的具體工做原理能夠經過如下幾個公式進行理解：函數

>>阅读原文<<