梯度消失

時間反向傳播： 前饋網絡的反向傳播從最後的誤差開始，經每個隱藏層的輸出、權重和輸入反向移動，將一定比例的誤差分配給每個權重，方法是計算權重與誤差的偏導數－∂E/∂w，即兩者變化速度的比例。隨後，梯度下降的學習算法會用這些偏導數對權重進行上下調整以減少誤差。 梯度消失與梯度爆炸： 凡是學過複合利率的人都知道，任何數值，只要頻繁乘以略大於一的數，就會增大到無法衡量的地步（經濟學中的網絡效應和難以避免的

>>阅读原文<<