梯度消失與梯度爆炸

梯度消失與梯度爆炸 1.梯度的概念   2.梯度消失與梯度爆炸的現象： 如果權重很小，一直相乘，就會變得很小。反之就會變得很大。 危害？ 均會導致無法更新。   3.產生原因 梯度消失的原因： （1）神經網絡 （2）初始化權值過小 （3）激活函數sigmoid（Relu） 梯度爆炸的原因： （1）神經網絡 （2）初始化權重過大   4.如何解決？ （1）預訓練+微調 （2）梯度剪切、正則 （3）R

>>阅读原文<<