Nested LSTM：一種能處理更長期信息的新型LSTM擴展

近日，CMU 和蒙特利爾大學聯合提出一種新型的多級記憶的 RNN 架構——嵌套 LSTM。在訪問內部記憶時，嵌套 LSTM 相比傳統的堆棧 LSTM 有更高的自由度，從而能處理更長時間規模的內部記憶；實驗也表明，NLSTM 在多種任務上都超越了堆棧 LSTM。作者認爲嵌套 LSTM 有潛力直接取代堆棧 LSTM。 雖然在層級記憶上已有一些研究，LSTM 及其變體仍舊是處理時序任務最流行的深度學習模

>>阅读原文<<