吳恩達Deeplearning.ai 第五課 Sequence Model 第一週------Vanishing gradients with RNNs

這一節主要描述了RNN的梯度消失問題，解決方案就是後面的GRU和LSTM 如圖，兩句話，cat對應was和cats對應were，但是這兩個單詞相隔很遠，這樣就存在一個問題，cat的單複數可能影響不了後面be動詞的單複數判斷，在神經網絡中，這和之前在DNN中所見到的類似，梯度消失。 也就是一個輸出，只會受到附近的輸入的影響。這裏每個輸入輸入的就是一層神經網絡 梯度爆炸： 同樣，在RNN也會可能發生梯

>>阅读原文<<