梯度消失/梯度爆炸

訓練神經網絡，尤其是深度神經網絡所面臨的一個問題就是梯度消失和梯度爆炸，也就是當訓練神經網絡的時候，導數或者坡度有時會變得非常大，或者非常小，甚至於以指數方式變大或者變小，這加大了訓練的難度。   神經網絡的權重初始化：

>>阅读原文<<