RNN學習(二)——LSTM

爲了解決RNN的一些缺點,RNN與LSTM對比。 LSTM具體實現思路如下: (1)C:控制參數 決定什麼樣的信息會被保留什麼樣的會被遺忘 丟棄的信息: 先把當前節點的輸入和之前記憶的輸入傳遞進來,然後通過sigmod函數組合起來後得到的函數值(0,1)之間,然後再跟Ct-1組合,決定丟棄什麼信息。Ct是永遠更新維護的值。 (2)保留的信息 (3)更新控制參數 根據舊的控制參數Ct-1和新生成的更
相關文章
相關標籤/搜索