神經網絡中的梯度不穩

神經網絡中的梯度不穩 文章目錄 神經網絡中的梯度不穩 一、概述 二、RNN中梯度不穩的原因 三、LSTM解決梯度消失 四、其它解決梯度不穩的方法 4.1 預訓練加微調 4.2 梯度裁剪與正則化 4.3 激活函數的角度 4.4 權重初始化角度 4.5 網絡結構的角度 4.6 損失函數的角度 五、總結 一、概述   深度網絡容易出現梯度不穩（梯度消失、梯度爆炸）問題，造成網絡學習停滯。 梯度消失：  

>>阅读原文<<