新型循環神經網絡IndRNN：可構建更長更深的RNN

近日，澳大利亞伍倫貢大學聯合電子科技大學提出一種新型的循環神經網絡 IndRNN，不僅可以解決傳統 RNN 所存在的梯度消失和梯度爆炸問題，還學習長期依賴關係；此外，藉助 relu 等非飽和激活函數，訓練之後 IndRNN 會變得非常魯棒，並且通過堆疊多層 IndRNN 還可以構建比現有 RNN 更深的網絡。實驗結果表明，與傳統的 RNN 和 LSTM 相比，使用 IndRNN 可以在各種任務中取

>>阅读原文<<