梯度爆炸與梯度消失及其解決方法

在學習瞭解了深度學習中梯度消失和梯度爆炸的問題以及一些解決方法後想通過寫一篇文章作爲總結鞏固。 梯度消失、爆炸的原因： 梯度消失和梯度爆炸可以看作是由於某種原因使得在優化過程中梯度變化到一個極端的值（很大的值或者很小的值），有兩種比較常見的情況會出現該現象：一是網絡結構深，二是採用的損失函數不夠合理（比如sigmoid），梯度爆炸一般是出現在深層的網絡結構中或者權值的初始值過大的情況下。下面分別討

>>阅读原文<<