基礎網絡架構探究之DiracNets

CNN研究者總是面臨一個共同的話題：如何提升神經網絡的表達能力？ 分兩個方向去探討： 1）拉長 增加網絡層數是最直觀的一種方法，但這種方法所面臨的是 梯度消失問題，網絡越深，梯度的回傳越困難。 基於此，MSRA提出了ResNet，通過skipconnection的方式，通過殘差思想很好的解決了這個問題。 可以參考論文：Deep Residual Learning forImage Recognit

>>阅读原文<<