LSTM Networks

轉自:http://deeplearning.net/tutorial/lstm.html 在傳統的遞歸神經網絡中,在梯度反向傳播階段,梯度信號可以被與經常隱藏層的神經元之間的連接相關聯的權重矩陣相乘,從而得到大量的時間(如時間步數)。這意味着,轉換矩陣中權重的大小對學習過程有很大的影響。 如果這個矩陣中的權重很小(或者,更正式地說,如果權重矩陣的主要特徵值小於1.0),它就會導致一個稱爲消失梯度
相關文章
相關標籤/搜索