ResNet的skip connection 殘差網絡的學習

今天我們介紹一下殘差網絡，學習完前面的知識我們會知道網絡的深度對於模型的性能是至關重要的，所以理論上而言模型更深可以取得更好的結果。但是事實真的是這樣的嗎？實現發現深度網絡會出現退化的問題：網絡深度增加時，網絡準確度出現飽和，甚至會出現下降。這不是過擬合問題，而是由於深層網絡中存在梯度消失和梯度爆炸的問題，這使得深度學習模型很難訓練， ResNet的skip connection就是爲了解決梯度消

>>阅读原文<<