CS224N筆記——深入GRU和LSTM

目錄 深入GRU Update Gate Reset Gate tanh-RNN與GRU的對比 GRU與LSTM的對比 深入LSTM 訓練一個RNN Ensemble 深入GRU RNN的梯度消失:損失在反向傳播中必須經過所有中間節點。 GRU額外添加了一些「捷徑」紅線,允許梯度直接流過去,而不是連乘的方式遞減過去。 Update Gate 用來自適應學習應該把多少注意力放到前一個隱藏層狀態上。
相關文章
相關標籤/搜索