長短時記憶網絡(LSTM)

長短時記憶網絡是啥 長短時記憶網絡的思路比較簡單。原始RNN的隱藏層只有一個狀態,即h,它對於短期的輸入非常敏感。那麼,假如我們再增加一個狀態,即c,讓它來保存長期的狀態,那麼問題不就解決了麼?如下圖所示: 新增加的狀態c,稱爲單元狀態(cell state)。我們把上圖按照時間維度展開: 上圖僅僅是一個示意圖,我們可以看出,在t時刻,LSTM的輸入有三個:當前時刻網絡的輸入值、上一時刻LSTM的
相關文章
相關標籤/搜索