訓練中Loss爲Nan的原因，梯度消失或者爆炸的優化

向AI轉型的程序員都關注了這個號???????????? 機器學習AI算法工程   公衆號：datayx 現象 如何確定是否出現梯度爆炸？ 在訓練過程中出現梯度爆炸會伴隨一些細微的信號，如： （1）模型無法從訓練數據中獲得更新； （2）模型不穩定，導致更新過程中的損失出現顯著變化； （3）訓練過程中，模型的損失變爲Nan。 梯度消失與梯度爆炸原因 首先，來看神經網絡更新梯度的原理，即反向傳播算法。

>>阅读原文<<