梯度消失（vanishing gradient）與梯度爆炸（exploding gradient）問題

轉自：(https://blog.csdn.net/cppjava_/article/details/68941436) （1）梯度不穩定問題： 什麼是梯度不穩定問題：深度神經網絡中的梯度不穩定性，前面層中的梯度或會消失，或會爆炸。 原因：前面層上的梯度是來自於後面層上梯度的乘乘積。當存在過多的層次時，就出現了內在本質上的不穩定場景，如梯度消失和梯度爆炸。 （2）梯度消失（vanishing gr

>>阅读原文<<