LSTM與GRU

很多博客已經詳細講述了lstm和gru的結構及公式,這裏就不一一介紹了,參考下面鏈接,講的挺詳細 http://www.javashuo.com/article/p-uosezjcr-bs.html 這篇文章主要講自己對lstm與gru的區別及聯繫的理解。 在傳統RNN中,由於反向傳播過程中出現激活函數的累乘,容易造成梯度消失和梯度爆炸,這就造成在較長的time-steps下,後面的step很難學
相關文章
相關標籤/搜索