殘差神經網絡：原理與實踐

VGGNet和GoogLeNet等網絡都表明有足夠的深度是模型表現良好的前提，但是在網絡深度增加到一定程度時，更深的網絡意味着更高的訓練誤差。誤差升高的原因是網絡越深，梯度彌散[還有梯度爆炸的可能性]的現象就越明顯，所以在後向傳播的時候，無法有效的把梯度更新到前面的網絡層，靠前的網絡層參數無法更新，導致訓練和測試效果變差。所以ResNet面臨的問題是怎樣在增加網絡深度的情況下有可以有效解決梯度消失

>>阅读原文<<