總結一：神經網絡訓練過程當中可能引發NaN的三種緣由總結

在訓練神經網絡的過程當中，常常會遇到當訓練進行到必定次數後，cost會變成NaN的問題。在網上搜索相關問題時，發現大多人的觀點是認爲learningRate過大致使NaN，可是通過我本身摸索，我發現絕大多數狀況下NaN是由如下幾種狀況致使的。learningRate過大隻是會形成cost不收斂，在最優勢附近震盪。 第一種狀況： cost的計算公式爲：cost = -(y.t * log(yHat)

>>阅读原文<<