機器學習筆記之梯度消失和爆炸

轉載自 https://blog.csdn.net/weixin_37933986/article/details/69255863 神經網絡的訓練過程通常分爲兩個階段：前向傳播和反向傳播。 前向傳播如下圖所示，原理比較簡單 上一層的神經元與本層的神經元有連接，那麼本層的神經元的激活等於上一層神經元對應的權值進行加權和運算，最後通過一個非線性函數（激活函數）如ReLu，sigmoid等函數，最後得

>>阅读原文<<