機器學習：神經網絡中的梯度消失和梯度爆炸

一、什麼是梯度消失和梯度爆炸 1. 梯度消失(gradient vanishing problem)      我們知道神經網絡在進行反向傳播(BP)的時候會對參數W進行更新，梯度消失就是靠後面網絡層(如layer3)能夠正常的得到一個合理的偏導數，但是靠近輸入層的網絡層，計算的到的偏導數近乎零，W幾乎無法得到更新。 2. 梯度爆炸(gradient exploding problem)    

>>阅读原文<<