淺談LSTM(long-short Time Memory)

LSTM存在三個門控，「記憶門」，「遺忘門」，「輸出門」。它有一個特殊的狀態就是細胞狀態，類似一個「傳送帶」，信息在上面傳輸保持不變很容易，用來記憶之前的信息。細胞狀態的更新來自記憶門和遺忘門以及上一時間刻的細胞狀態。LSTM是爲了解決RNN梯度消失的一種改進。LSTM可以理解爲「延長短時記憶」，「遺忘門」表示遺忘上一時刻細胞狀態的概率，（0：遺忘，1：記憶），即：它會根據當前時刻的輸入，上一時刻

>>阅读原文<<