梯度消失和梯度爆炸問題及其解決方法詳解

梯度不穩定概念和解決方法 梯度消失和梯度爆炸問題 概念 原理詳解 解決方法 更改**函數（Relu、Leaky-Relu、P-Relu等） 權重初始化 加入BN層（Batch Normalization） 梯度剪切、權重正則（針對梯度爆炸） 使用預訓練模型進行finetue 使用ResNet殘差結構 梯度消失和梯度爆炸問題 概念 梯度消失是因爲隨着網絡深度的加深，網絡反向傳播的小於1的導數經過逐層

>>阅读原文<<