深度學習的實用層面-4

本文來自於網易雲課堂 梯度消失和梯度爆炸 訓練神經網絡，尤其是深度神經網絡所面臨的一個問題是梯度消失(data vanishing)或梯度爆炸(exploding gradients).什麼是梯度消失或梯度爆炸呢？通俗點說就是梯度很小或者梯度很大。那麼怎麼產生的呢？ 爲了解決梯度消失和梯度爆炸問題，人們提出了一個不完整的解決方案，雖然不能徹底地解決問題，但是很有用，它會幫助網絡更明智的選擇隨機初始

>>阅读原文<<