深度學習：循環神經網絡（RNN）的變體LSTM、GRU

假設我們試着去預測「I grew up in France… I speak fluent French」最後的詞French。當前的信息建議下一個詞可能是一種語言的名字，但是如果我們需要弄清楚是什麼語言，我們是需要先前提到的離當前位置很遠的 France 的上下文的。這說明相關信息和當前預測位置之間的間隔就肯定變得相當的大。 不幸的是，在這個間隔不斷增大時，RNN 會喪失學習到連接如此遠的信息的

>>阅读原文<<