pytorch訓練過程中loss出現NaN的原因及可採取的方法

在pytorch訓練過程中出現loss=nan的情況 1.學習率太高。 2.loss函數 3.對於迴歸問題，可能出現了除0 的計算，加一個很小的餘項可能可以解決 4.數據本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))檢查一下input和target 5.target本身應該是能夠被loss函數計算的，比如sigmoid激活函數的target應該大於0，同樣的需要檢查

>>阅读原文<<