【Recurrent Neural Network Regularization】讀後感（未編輯完畢）

簡介 正則化（Regularization）使神經網絡應用廣泛。對前饋神經網絡，dropout是最有效的正則化方法。但是dropout不適用於RNN，因爲遞歸（recurrence）會放大噪音，持續影響網絡學習。RNN通常使用small model，large RNN趨於overfit。 這篇文章主要貢獻是使用dropout在non-recurrent connections。如下圖所示。在虛線箭

>>阅读原文<<