詳解梯度消失、梯度爆炸問題

1、梯度消失（vanishing gradient problem）、梯度爆炸（exploding gradient problem）原因 神經網絡最終的目的是希望損失函數loss取得極小值。所以最終的問題就變成了一個尋找函數最小值的問題，在數學上，很自然的就會想到使用梯度下降（求導）來解決。 梯度消失、梯度爆炸其根本原因在於反向傳播訓練法則（BP算法）：是指在使用梯度下降法對誤差進行反向傳播時，

>>阅读原文<<