深度學習入門筆記手稿（七）梯度消失與梯度爆炸和神經網絡權重初始化

深度學習入門筆記手稿（七）梯度消失與梯度爆炸和神經網絡權重初始化 梯度消失與梯度爆炸 神經網絡的權重初始化 梯度消失與梯度爆炸 訓練神經網絡會面臨導數或梯度變得非常大，或者非常小，這加大了訓練難度，而明智的選擇隨機初始化權重可避免這一問題。 下圖是梯度消失和梯度爆炸產生的原因： 神經網絡的權重初始化 針對梯度消失和梯度爆炸的問題 z=w1x1+w2x2+…xnwn 爲了預防z值過大或過小，則n越大

>>阅读原文<<