TensorFlow出現Found Inf or NaN global norm的排查和解決辦法

在訓練神經網絡的時候，由於一些原因會出現NaN或者Inf，致使訓練終止。在查閱相關資料之後，並且結合我出現的問題，做了一些總結。出現的代碼在TensorFlow 1.12.2版本可正常執行。 出現問題的原因 出現NaN或者Inf的原因一般可分爲以下三種 輸入數據有錯 出現了運算錯誤，如除數爲零，log0等 梯度爆炸 輸入數據有錯 訓練數據可能包含髒數據，在數據清洗時沒有清洗乾淨，導致錯誤數據輸入進

>>阅读原文<<