深層神經網絡難以訓練的原因

目錄 梯度消失 梯度爆炸 權重矩陣的退化導致模型的有效自由度減少 解決梯度消失的方法 解決梯度爆炸的方法 梯度消失 梯度消失：前面隱藏層的學習速度顯著低於後面隱藏層 梯度消失的根本原因： 梯度爆炸 梯度爆炸的根本原因：當，前面的網絡層比後面的網絡層梯度變化更快。 權重矩陣的退化導致模型的有效自由度減少 參數空間中學習的退化速度減慢，導致減少了模型的有效維數；有效自由度減少，隨着模型深度的增加，退化

>>阅读原文<<