機器學習（自然語言處理）-2-梯度消失和梯度爆炸

機器學習（自然語言處理）-2-梯度消失和梯度爆炸 反向傳播 梯度下降 梯度消失 梯度爆炸 解決梯度消失和梯度爆炸的常用方法 參考文獻 反向傳播 在看梯度消失和梯度爆炸之前，首先應瞭解反向傳播的思想。因爲梯度消失和梯度爆炸問題都是因爲網絡太深，網絡權值更新不穩定造成的，本質上是因爲梯度反向傳播中的連乘效應。 目前優化神經網絡的方法都是基於反向傳播的思想，即根據損失函數計算的誤差通過梯度反向傳播的方式

>>阅读原文<<