梯度消失，梯度爆炸產生的原因及解決辦法

1.梯度消失和爆炸產生的原因： a）從網絡深度來分析： 在反向傳播過程中需要對激活han函數進行求導，如果導數大於1，那麼隨着網絡層數的增加梯度更新將會朝着指數爆炸的方式增加這就是梯度爆炸。同樣如果導數小於1，那麼隨着網絡層數的增加梯度更新信息會朝着指數衰減的方式減少這就是梯度消失。因此，梯度消失、爆炸，其根本原因在於反向傳播訓練法則，屬於先天不足。 b）從激活函數來分析： 前面a中提到的激活函數

>>阅读原文<<