深度學習---梯度消失與梯度爆炸問題

深度學習—梯度消失與梯度爆炸問題 梯度消失與梯度爆炸問題來源於網絡的反向傳播。 以sigmoid激活函數爲例，其函數圖像成一個S型，如下所示，它會將正無窮到負無窮的數映射到0~1之間： sigmoid激活函數的導數f’(x) = f(x)(1-f(x))，取值範圍爲(0.0.25] 1）梯度消失：反向傳播時，根據鏈式法則，若網絡權重|w|小於1，隨着網絡層數增加，求導時多個小於1的數相乘，使得導數

>>阅读原文<<