訓練網絡交叉熵loss突然出現nan的情況

嘗試在MNIST上跑AlexNet，然而發現loss一直下降的時候，在某一時刻突然出現了nan。 在tensorboard上顯示如下： 可以看到在最後面的accuarcy突然下降。一開始百思不得其解， 原因其實在於交叉熵中的 y_truth * log(y_predict) log(0) * 0的時候， 則會出現NaN， 一旦出現這個情況，網絡訓練結果必然完蛋 解決辦法其實也很簡單： 在交叉熵的公

>>阅读原文<<