神經網絡VD問題

綜述 隨着神經網絡每層的學習速度其實是不一樣的，並且隨着層數增加這個問題就越來越明顯。一般來說，接近輸出層學習速率快，前面的層數學習慢，並隨着層數增加學習越來越慢。這種情況我們稱爲梯度消失（vanishing gradient problem）。下面我們就來分析一下爲什麼會出現這種情況，並給出解決方案。 理論推導 若有一個神經網絡如下： 神經網絡有6層，其中每層都有一個神經元。要想知道爲什麼層數增

>>阅读原文<<