對反向傳播中梯度消失的全面理解

文章目錄 一.神經網絡如何傳播？ 1.1 正向傳播 1.2 反向傳播 二.梯度消失如何產生？ 2.1 數學角度 2.2 激活函數角度 三.結論 一.神經網絡如何傳播？ 1.1 正向傳播 如下圖所示，兩個輸入值 X 1 X_1 X1​和 X 2 X_2 X2​，以第一層的第一個神經元 f 1 ( e ) f_1(e) f1​(e)爲例。 正向傳播先經過線性變換 e = x 1 w 1 + x 2 w

>>阅读原文<<