LSTM

門控RNN要做的事情就是讓神經網絡學會決定何時清除狀態,而不是手動決定。 引入自循環的巧妙思想,以產生梯度長時間持續流動的路徑是初始長短期記憶(long short-term memory,LSTM)模型的核心貢獻。其中一個關鍵擴展是自循環的權重視上下文而定,而不是固定的。門控此自循環(由另一個隱藏單元控制)的權重,累積的時間尺度可以動態地改變。在這種情況下,即使是具有固定參數的LSTM,累積的時
相關文章
相關標籤/搜索