RNN與梯度彌散的一記雜談

今天打算複習一下RNN方面的基礎，本篇博客會分三個部分講：第一部分講NN中的梯度彌散問題，第二部分講RNN中的梯度彌散問題，並引出LSTM和GRU，第三部分聊一聊batch normalization和group normalization。 關於第一NN和RNN中的梯度問題（彌散，爆炸），因爲涉及到了BP（NN）,BPTT（RNN）的推導，索性直接在紙上手推了，順便鞏固了： 好的，現在已經引出了

>>阅读原文<<