梯度消失與梯度爆炸產生原因及解決方法

1 、什麼是梯度消失和梯度爆炸 在反向傳播過程中需要對激活函數進行求導，如果導數大於1，那麼隨着網絡層數的增加梯度更新將會朝着指數爆炸的方式增加這就是梯度爆炸。同樣如果導數小於1，那麼隨着網絡層數的增加梯度更新信息會朝着指數衰減的方式減少這就是梯度消失。因此，梯度消失、爆炸，其根本原因在於反向傳播訓練法則，屬於先天不足。   2、梯度消失、爆炸導致原因 2.1、從BP（反向傳播原理）解釋梯度消失和

>>阅读原文<<