深層網絡梯度消失-爆炸原因

聲明：文章僅作知識整理、分享，如有侵權請聯繫作者刪除博文，謝謝！ 網上有很多關於梯度消失-爆炸這方面的文章，相似的也比較多，最近對不同文章進行整理，修改部分文章公式錯誤，形成整理。 1、概念 目前優化神經網絡的方法都是基於BP，即根據損失函數計算的誤差通過梯度反向傳播的方式，指導深度網絡權值的更新優化。其中將誤差從末層往前傳遞的過程需要鏈式法則（Chain Rule）的幫助，因此反向傳播算法可以說

>>阅读原文<<