深度學習基礎之-梯度彌散和梯度爆炸及解決辦法

梯度不穩定問題：深度神經網絡中的梯度不穩定性，前面層中的梯度或會消失，或會爆炸。  原因：前面層上的梯度是來自於後面層上梯度的乘乘積。當存在過多的層次時，就出現了內在本質上的不穩定場景，如梯度消失和梯度爆炸。  一、梯度消失問題  爲了弄清楚爲何會出現消失的梯度，來看看一個極簡單的深度神經網絡：每一層都只有一個單一的神經元。下圖就是有三層隱藏層的神經網絡：          sigmoid函數的導

>>阅读原文<<