Loss爲NAN的可能原因

前言 訓練或者預測過程中經常會遇到訓練損失值或者驗證損失值不正常、無窮大、或者直接nan的情況： 遇到這樣的現象，通常有以下幾個原因導致： 梯度爆炸造成Loss爆炸 原因很簡單，學習率較高的情況下，直接影響到每次更新值的程度比較大，走的步伐因此也會大起來。如下圖，過大的學習率會導致無法順利地到達最低點，稍有不慎就會跳出可控制區域，此時我們將要面對的就是損失成倍增大(跨量級)。 另外，這種情況很容易

>>阅读原文<<