學習GRU

爲什麼會提出 GRU? 1.RNN存在梯度爆炸和梯度消失的缺點 2LSTM 門控網絡結構過於複雜與冗餘 GRU將遺忘門和輸入門合併成更新門,同時將記憶單元與隱藏層合併成重置門,進而讓整個結構運算變得更加簡化且性能得以增強。 每個隱藏單元都有單獨的重置和更新門 當重置門接近於0時,隱藏狀態被迫忽略先前的隱藏狀態,僅用當前輸入進行復位。這有效地使隱藏狀態可以丟棄將來以後發現不想關的任何信息,從而允許更
相關文章
相關標籤/搜索