神經網絡訓練中的梯度消失與梯度爆炸

層數比較多的神經網絡模型在訓練時也是會出現一些問題的，其中就包括 梯度消失問題（gradient vanishing problem）和梯度爆炸問題（gradient exploding problem）。 梯度消失問題和梯度爆炸問題一般隨着網絡層數的增加會變得越來越明顯。 例如，對於下圖所示的含有 3 個隱藏層的神經網絡，梯度消失問題發生時，接近於輸出層的hidden layer 3等的權值更新

>>阅读原文<<