深度學習的基礎知識(RNN、LSTM等模型、梯度消失與爆炸、正則化、優化方式)

今天在看遷移學習中的一個模型COVE，裏面用到了LSTM（ELMo也是），故而想回顧一下深度學習中的一些基礎知識。 一、網絡結構 1.RNN 在此之前先介紹fully connected、CNN、RNN等重要architecture（參見臺大李宏毅老師的教程）   RNN與傳統的feedward的區別在於：允許信息的持久化，即基於原始的信息去處理新的信息。   2.LSTM 但RNN不能處理長期依

>>阅读原文<<