A Critical Review of Recurrent Neural Networks for Sequence Learning

Abstract 很多學習任務需要輸入（時間序列預測、視頻分析和音樂信息檢索）或輸出（圖像字幕、語音合成和視頻遊戲）序列，或兩者兼具（自然語言翻譯、參與對話和機器人控制等交互式任務）。 循環神經網絡可以反映任意長度的上下文窗口，但循環神經網絡包含上百萬參數難以訓練。近期網絡結構、技術優化與並行計算的進步使循環神經網絡的大規模學習成爲可能。 在過去的幾年裏，基於最先進的長短時記憶(LSTM)和雙向遞

>>阅读原文<<