ResNet_殘差網絡

打開深度之門——殘差網絡 產生殘差網絡的原因：雖然網絡越越複雜能夠完成的任務越多。深效果越好。但達到一定層數後，accuracy就會下降，這種問題稱爲degradation，該問題不同於梯度消失/梯度爆炸。梯度消失/梯度爆炸從一開始就阻礙網絡收斂，我們通過標準初始化或者中間層歸一化已經能夠解決。 當深度增加時，準確率達到飽和然後迅速下降，並且這種誤差和過擬合無關，在增加層數時也使訓練錯誤率下降厲害

>>阅读原文<<