標準循環神經網絡記憶差怎麼破

前言 前面介紹的是循環神經網絡， 這篇文章介紹的是長短記憶網絡。 問題 標準循環網絡的記憶差     轉換矩陣必然削弱信號     需要一種可以在多個步驟中保持一些維度不變的結構 這個算是循環神經網絡的一個升級，解決了循環神經網絡致命的問題，梯度消失問題，對長距離會記不住信息。如何解決這兩個問題，往下看。 通過內部更新機制，引入了三個門，通過這些門，怎麼記住信息？默認情況下LSTM會記住最後一步的

>>阅读原文<<