ResNet 網絡 學習筆記

一. 背景 網絡的結構越深，提取的特徵越抽象，越具有豐富的語義信息。但是隨着網絡的加深，會存在梯度彌散或者梯度爆炸等問題（之前的解決方案是引入BN層（可以看成一種正則化的方式））。幾十層的網絡訓練引入BN正則化能得到解決梯度問題，但是會引入網絡「退化」問題，退化問題指的是：網絡層數增加，但是在訓練集上的準確率卻飽和甚至下降了. 二. 怎麼解決退化問題？–》 殘差塊 殘差塊打破了傳統的神經網絡n-1

>>阅读原文<<