深度學習中nan和inf的解決

文章目錄 一、 nan 和inf產生緣由 二、解決方法 2.1 學習率要設置小一些 2.2使用帶上限的激活函數，如tf.nn.relu6 2.3檢查輸入數據中是否有nan或inf 2.4對loss部分作處理 2.5 對梯度的處理 2.6 手動梯度重寫 2.7 其它操做 總結 一、 nan 和inf產生緣由 搭建神經網絡後產生的，在訓練早期，模型參數可能不是很合適，會出現梯度消失和爆炸的狀況，特別是

>>阅读原文<<