【機器學習】【RNN中的梯度消失與梯度爆炸】

學習speech synthesis的Tacotron模型，而Tacotron是基於seq2seq attention，RNN中的一類。所以得先學習RNN，以及RNN的變種LSTM和GRU。 RNN的詳細我這裏不再介紹了，許多神犇的博客及網上免費的課程講得都很詳細。這裏僅說明RNN中的梯度消失與梯度爆炸。文章若有錯誤，煩請大家批評指正。 以經典RNN爲例， 假設我們的時間序列只有三段，S0爲給定值

>>阅读原文<<