RNN隱藏層的兩種計算方法GRU和LSTM

本篇文章主要介紹兩種RNN的隱藏層信息計算方法GRU(Gated Recurrent Units)和LSTM(Long-Short-Term-Memories),這兩種隱藏層的計算方法通過引入門(Gate) 的機制來解決RNN的梯度消失問題,從而學習到長距離依賴。 這裏說的隱藏層計算方法指的是如何計算下個時刻的隱藏層信息,標準RNN中計算 方法是: 而LSTM和GRU可以理解爲計算ht的另一種方法
相關文章
相關標籤/搜索