【論文筆記】Training Very Deep Networks - Highway Networks

目標： 怎麼訓練很深的神經網絡 然而過深的神經網絡會造成各種問題，梯度消失之類的，導致很難訓練 作者利用了類似LSTM的方法，通過增加gate來控制transform前和transform後的數據的比例，稱爲 Highway network 至於爲什麼會有效...大概和LSTM會有效的原因一樣吧。 方法： 首先是普通的神經網絡，每一層H從輸入x映射到輸出y，H通常包含一個仿射變換和一個非線性變換，

>>阅读原文<<