【論文筆記】Highway Network: Training Very Deep Networks (2015)

這篇論文提出了著名的Highway Network，用於解決深層網絡的訓練問題。這個結構已經得到了廣泛的應用，也有很多資料。我之所以閱讀這篇五年前的論文，主要是看現在的資料覺得對網絡的結構理解的還是比較淺，於是想看看發明者的思路，在這裏對收穫做了一些總結。 1.介紹 網絡深度的增加會爲網絡帶來更多的表現力，但網絡深度同時也讓網絡很難去訓練。在這篇論文之前，解決方案大致從這幾個方面出發： 優化器：

>>阅读原文<<