梯度消失和梯度爆炸及解決方案

梯度在神經網絡中的作用# 在談梯度消失和梯度爆炸的問題之前，我們先來考慮一下爲什麼我們要利用梯度，同時鋪墊一些公式，以便於後面的理解。 存在梯度消失和梯度爆炸問題的根本原因就是我們在深度神網絡中利用反向傳播的思想來進行權重的更新。即根據損失函數計算出的誤差，然後通過梯度反向傳播來減小誤差、更新權重。 我們假設，存在一個如圖所示的簡單神經網絡，我們可以得到相關的公式如右側所示： 其中函數 g 是激活

>>阅读原文<<