神經網絡ResNet訓練CIFAR10數據集

loss在反向傳播的過程中，傳遞到淺層的梯度非常小，使得淺層參數難以更新。resnet引入了殘差單元（residual unit）：通過直接和輸入連接，使得淺層的參數變得可以訓練。  bottleneck將左圖中的一個3*3的卷積層，改爲了兩個1*1的卷積層，在參數個數相近的情況下，加深了網絡深度。 resnet就是上面的殘差單元（residual unit）或者是bottleneck不斷堆疊形成

>>阅读原文<<