GRU與LSTM總結

1. LSTM（長短期記憶網絡） LSTM是一種特殊的RNN類型，一般的RNN結構如下圖所示，是一種將以往學習的結果應用到當前學習的模型，但是這種一般的RNN存在着許多的弊端。舉個例子，如果我們要預測「the clouds are in the sky」的最後一個單詞，因爲只在這一個句子的語境中進行預測，那麼將很容易地預測出是這個單詞是sky。在這樣的場景中，相關的信息和預測的詞位置之間的間隔是非

>>阅读原文<<