gradient clipping

問題起與這篇知乎：訓練到一定epoch之後，突然loss爲Nan，其中一種方法說 梯度截斷。我覺得我LSTM可能會出現這個問題。 https://www.zhihu.com/question/49346370 梯度消失（vanishing gradient）與梯度爆炸（exploding gradient） （1）梯度不穩定問題： 什麼是梯度不穩定問題：深度神經網絡中的梯度不穩定性，前面層中的梯度

>>阅读原文<<