1.8 循環神經網絡的梯度消失-深度學習第五課《序列模型》-Stanford吳恩達教授

循環神經網絡的梯度消失 (Vanishing Gradient with RNNs) 你已經瞭解了RNN時如何工作的了，並且知道如何應用到具體問題上，比如命名實體識別，比如語言模型，你也看到了怎麼把反向傳播用於RNN。其實，基本的RNN算法還有一個很大的問題，就是梯度消失的問題。這節課我們會討論，在下幾節課我們會討論一些方法用來解決這個問題。 你已經知道了RNN的樣子，現在我們舉個語言模型的例子，

>>阅读原文<<