深度學習——致命問題之Gradient Vanish

多層神經網絡致命問題之一：Gradient Vanish Gradient Vanish 這個問題是由激活函數不當引發的，多層神經網絡使用Sigmoid系激活函數，會使得偏差從輸出層開始呈指數衰減，靠近輸出層的隱層訓練的比較好，而靠近輸入層的隱層幾乎不能訓練。網絡 以5層結構爲例，大概僅有第5層輸出層，第4層，第3層被訓練的比較好。偏差傳到第一、2層的時候，幾乎爲0。這時候5層至關於3層，前兩層徹

>>阅读原文<<