[深度學習] 梯度消失與梯度爆炸、Loss爲Nan的原因

現象 如何確定是否出現梯度爆炸？ 在訓練過程中出現梯度爆炸會伴隨一些細微的信號，如： （1）模型無法從訓練數據中獲得更新； （2）模型不穩定，導致更新過程中的損失出現顯著變化； （3）訓練過程中，模型的損失變爲Nan。   梯度消失與梯度爆炸原因 首先，來看神經網絡更新梯度的原理，即反向傳播算法。 詳細推導參考：反向傳播算法 通過反向傳播算法更新梯度的公式可以看到，影響梯度更新的有，初始權重、激活

>>阅读原文<<