Long Short Term Memory networks(LSTMs)

背景:在我之前的一篇博客中說了一下對RNN的理解,RNN對於長句子表示的不是很好,超過六七層的網絡之後就很難獲得之前內容的信息了,目前的框架是基於梯度的,多層網絡很容易出現梯度彌散的情況。但是對於NLP任務中,輸入序列長度會很長,基本的RNN網絡就不太適合處理這些任務了。於是大牛們Hochreiter & Schmidhuber [1]就提出了LSTM網絡,讓處理長序列也變得可能。 原理:LSTM
相關文章
相關標籤/搜索