梯度爆炸和梯度消失以及解決方案

梯度爆炸和消失 兩種情況下梯度消失經常出現，一是在深層網絡中，二是採用了不合適的激活函數，比如sigmoid。梯度爆炸一般出現在深層網絡和權值初始化值太大的情況下，下面分別從這兩個角度分析梯度消失和爆炸的原因。 數學說明 參考博客 參考博客 這邊我做了做了一個兩個隱層梯度的推導，看的出來層數逐漸變多，影響最大的便是權值w和激活函數，他們中的任意一個大於1或者小於1，連乘都會造成梯度的消失和爆炸。

>>阅读原文<<