【深度學習】ResNet網絡淺析

ResNet網絡是基於殘差塊的網絡模型，先介紹下什麼是殘差塊（Residual block）: 紅色圈畫的即爲一個殘差塊，與普通的網絡相比，區別就是求a[l+2]的時候多加了前面的a[l]這個殘差   殘差網絡： 左圖爲普通的網絡，右圖爲ResNet。理論上隨着網絡層數的增加，損失會不斷下降，實際上卻是左圖，因爲隨着網絡的增加，優化函數會越來越難優化   爲什麼深層網絡損失會上升 A huge b

>>阅读原文<<