在RNN中使用Dropout

dropout在前向神經網絡中效果很好，但是不能直接用於RNN，因爲RNN中的循環會放大噪聲，擾亂它自己的學習。那麼如何讓它適用於RNN，就是隻將它應用於一些特定的RNN連接上。   LSTM的長期記憶是存在memory cell中的。   The LSTM can decide to overwrite the memory cell, retrieve it, or keep it for t

>>阅读原文<<