Step by Step LSTM Walk Through

1、LSTM的第一步是決定我們要從細胞狀態中扔掉什麼信息。這個決定是由一個稱爲「忘記門層」的sigmoid 層組成。 選擇保持記憶傳遞，還是忘記。 例如： 記憶：語言模型，試圖根據前面所有的單詞來預測下一個單詞。 忘記：擁有當前的主題類別，我們想換新的主題類別，就要忘記當前的主題類別。 2、第二步是決定什麼樣新的信息我們將保存在細胞狀態中。這裏麪包含兩部分。 a.首先一個sigmoid 層，叫做輸

>>阅读原文<<