ResNet(殘差網絡)之殘差模塊

2015年何凱明提出的152層ResNet，獲得了ILSVRC比賽圖像識別的冠軍（top1誤差3.6%），同時也使得卷積神經網絡有了真正的「深度」。 隨着網絡深度的增加，訓練變得愈加困難，這主要是因爲在基於隨機梯度下降的網絡訓練過程中，誤差信號的多層反向傳播非常容易引發「梯度彌散」（梯度過小會使回傳的訓練誤差信號極其微弱）或者「梯度爆炸」（梯度過大導致模型出現NaN）的現象。目前一些特殊的權重初始

>>阅读原文<<