網絡訓練loss爲nan的解決的辦法。

一、檢查輸入數據和target中是否有 nan 值。spa

  np.any(np.isnan(x))orm

  np.any(np.isnan(target))ip

二、減少lossget

三、rnn中發生梯度爆炸,檢查參數值和參數梯度,截斷梯度。 form

3.1 檢查梯度是否更新
for params in model.named_parameters():
[name, param] = params

if param.grad is not None:
print(name, end='\t')
print('weight:{}'.format(param.data.mean()), end='\t')
print('grad:{}'.format(param.grad.data.mean()))

3.2 截斷梯度
torch.nn.utils.clip_grad_norm_(model.parameters(), 0.25)
相關文章
相關標籤/搜索