機器學習:神經網絡中的梯度消失和梯度爆炸

一、什麼是梯度消失和梯度爆炸 1. 梯度消失(gradient vanishing problem)      我們知道神經網絡在進行反向傳播(BP)的時候會對參數W進行更新,梯度消失就是靠後面網絡層(如layer3)能夠正常的得到一個合理的偏導數,但是靠近輸入層的網絡層,計算的到的偏導數近乎零,W幾乎無法得到更新。 2. 梯度爆炸(gradient exploding problem)    
相關文章
相關標籤/搜索