梯度消失（vanishing gradient）與梯度爆炸（exploding gradient）問題

1）梯度不穩定問題： 什麼是梯度不穩定問題：深度神經網絡中的梯度不穩定性，前面層中的梯度或會消失，或會爆炸。 原因：前面層上的梯度是來自於後面層上梯度的乘乘積。當存在過多的層次時，就出現了內在本質上的不穩定場景，如梯度消失和梯度爆炸。 （2）梯度消失（vanishing gradient problem）： 原因：例如三個隱層、單神經元網絡： 則可以得到： 然而，sigmoid方程的導數曲線爲：

>>阅读原文<<