深度學習-梯度爆炸和梯度消失

1、梯度爆炸和梯度消失         訓練很深的神經網絡時，隨着層數的增加，導數會出現指數級的下降，則導致梯度消失。或者指數級的增加，導致梯度爆炸；本質是梯度傳遞的鏈式法則所導致的矩陣高次冪（反向傳播會逐層對函數求偏導相乘）； 1）梯度消失         網絡層之間的梯度（值小於 1.0）重複相乘導致的指數級減小會產生梯度消失；        原因： 主要是因爲網絡層數太多，太深，導致梯度無法

>>阅读原文<<