出現梯度消失與梯度爆炸的原因以及解決方案

在學習李宏毅老師機器學習的相關視頻時，課下做了一個有關神經網絡的小Demo,但是運行效果總是不盡人意，上網查詢資料，才發現是梯度爆炸和梯度消失惹的禍。今天就讓我們一起來學習一下梯度消失與梯度爆炸的概念、產生原因以及該如何解決。 目錄 1.梯度消失與梯度爆炸的概念 2.梯度消失與梯度爆炸的產生原因 3.梯度消失與梯度爆炸的解決方案   首先讓我們先來了解一個概念：什麼是梯度不穩定呢？ 概念：在深度神

>>阅读原文<<