動手學深度學習pytorch（ModernRNN，過擬合欠擬合及其解決方案，梯度消失、梯度爆炸）

- ModernRNN - RNN： RNN（Recurrent Neural Network）是一類用於處理序列數據的神經網絡。 RNN存在一些問題梯度較容易出現衰減或爆炸（BPTT） - 梯度爆炸，梯度消失 首先舉一個例子： 如果有一個層輸爲 L L L的多層感知機的第 l l l層 H ( l ) \boldsymbol{H}^{(l)} H(l)的參數爲 W ( l ) \boldsymb

>>阅读原文<<