【深度學習】梯度消失/爆炸(Vanishing/Exploding Gradient)

這幾天正在看梯度消失/爆炸,在深度學習的理論中梯度消失/爆炸也是極其重要的,所以就抽出一段時間認真地研究了一下梯度消失/爆炸的原理,以下爲參考網上的幾篇文章總結得出的。 本文分爲四個部分:第一部分主要介紹深度學習中一些關於梯度消失/爆炸(Vanishing/Exploding Gradient)的基礎。第二部分主要介紹深度學習中什麼是梯度消失/爆炸;第三部分主要介紹怎麼解決梯度消失/爆炸。 一、P
相關文章
相關標籤/搜索