神經網絡梯度問題

1.梯度消失、梯度爆炸? 兩種情況下梯度消失經常出現，一是在深層網絡中，二是採用了不合適的損失函數，比如sigmoid。梯度爆炸一般出現在深層網絡和權值初始化值太大的情況下，下面分別從這兩個角度分析梯度消失和爆炸的原因。 深層網絡角度 總結：從深層網絡角度來講，不同的層學習的速度差異很大，表現爲網絡中靠近輸出的層學習的情況很好，靠近輸入的層學習的很慢，有時甚至訓練了很久，前幾層的權值和剛開始隨機初

>>阅读原文<<