爲什麼ResNet和DenseNet可以這麼深？一文詳解殘差塊爲何有助於解決梯度彌散問題。...

傳統的「提拉米蘇」式卷積神經網絡模型，都以層疊卷積層的方式提高網絡深度，從而提高識別精度。但層疊過多的卷積層會出現一個問題，就是梯度彌散(Vanishing)，backprop無法有效地把梯度更新到前面的網絡層，導致前面的層參數無法更新。 而BatchNormalization（BN）、ResNet的skip connection就是爲了解決這個問題，BN通過規範化輸入數據改變數據分佈，在前傳過程

>>阅读原文<<