[ResNet]Deep Residual Learning for Image Recognition

ResNet一直不太能看懂，先記錄一下了。 爲什麼需要設計ResNet degenrate（退化問題） 訓練深度神經網絡失敗的罪魁禍首不是梯度消失，而是退化 在深度的重要性的驅使下，出現了一個新的問題：訓練一個更好的網絡是否和堆疊更多的層一樣簡單呢？解決這一問題的障礙便是困擾人們很久的梯度消失/梯度爆炸，這從一開始便阻礙了模型的收斂。歸一初始化（normalized initialization）

>>阅读原文<<