深度學習基礎技術分析3：深度學習

如果我們初始化神經網絡的權值爲 [ 0 , 1 ] [0,1] [0,1]之間的隨機值，由反向傳播算法的數學推導可知，梯度從後向前傳播時，每傳遞一層梯度值都會減小爲原來的0.25倍，如果神經網絡隱層特別多，那麼梯度在穿過多層後將變得非常小接近於0，即出現梯度消失現象；當網絡權值初始化爲$ (1, +\infty)$區間內的值，則會出現梯度爆炸情況。 詳細數學分析見文章：http://neuraln

>>阅读原文<<