highway network

highway network 2015年的文章了,由於最近收到了推送,纔去詳細瞭解了一下,特意在此做個筆記。 highway network的思想很簡單,作者受LSTM的啓發,在普通的網絡上加了兩個門而已(一個叫 Transform gate,另一個叫Carry gate)。Highway network可以有效緩解層數特別深的網絡在優化時出現的梯度消失問題,可以對1000多層的網絡進行有效的優
相關文章
相關標籤/搜索