梯度消失與梯度爆炸

什麼是梯度消失與梯度爆炸 層數比較多的神經網絡模型在使用梯度下降法對誤差進行反向傳播時會出現梯度消失和梯度爆炸問題。梯度消失問題和梯度爆炸問題一般會隨着網絡層數的增加變得越來越明顯。 例如，對於圖所示的含有3個隱藏層的神經網絡，梯度消失問題發生時，靠近輸出層的hidden layer 3的權值更新相對正常，但是靠近輸入層的hidden layer1的權值更新會變得很慢，導致靠近輸入層的隱藏層權值幾

>>阅读原文<<