【卷積神經網絡】針對訓練過程當中Loss忽然變大問題的思考

在神經網絡的訓練過程當中，正常狀況下總體的過程是一個Loss不斷降低的過程，然而在訓練過程當中每每存在一些batch_size輸入時，前向傳播獲得的Loss忽然變大的情景。網絡 在訓練神經網絡過程當中，通過softmax函數輸出機率後，噹噹前最大機率對應的類別與訓練標籤一致時，損失Loss每每較小，而通過softmax輸出時，訓練標籤所對應的機率softmax機率較小，此時的Loss計算結果每每很

>>阅读原文<<