對於 ResNet 殘差網絡的思考——殘差網絡可以解決梯度消失的原因

導言： 從神經網絡的歷史上來看，深層網絡由於梯度消失無法訓練這個問題目前爲止一共有兩次很大的突破。第一次是神經網絡開山鼻祖 Hinton 先生提出的 r e l u relu relu 激活函數取代了原來的 s i g m o i d sigmoid sigmoid 和 t a n h tanh tanh 函數，使得對於激活函數的導數變爲了 1 1 1 。第二次是 何凱明 大神在 2015 年的論

>>阅读原文<<