【解決方案】pytorch中loss變成了nan | 神經網絡輸出nan | MSE 梯度爆炸/梯度消失

loss_func = nn.MSELoss() loss = loss_func(val, target) 最近在跑一個項目，計算loss時用了很普通的MSE，在訓練了10到300個batch時，會出現loss tensor([[nan nan nan nan]]相似的狀況。對這個異常的loss進行梯度降低，會致使net的輸出變爲nan。在網上查瞭解決方案，都很差用：python 學習率過大；

>>阅读原文<<