GRU及雙向RNN介紹

GRU 假設我們已經熟知循環神經網絡(RNN)及長短時間記憶網絡(LSTM)。相比於簡單的RNN,LSTM增加了記憶單元(memory cell)、輸入門(input gate)、遺忘門(forget gate)及輸出門(output gate),這些門及記憶單元組合起來大大提升了RNN處理遠距離依賴問題的能力。 RNN: H t = ϕ ( X t W x h + H t − 1 W h h +
相關文章
相關標籤/搜索