梯度消失與爆炸

梯度消失問題的解決方法 梯度消失問題 Sigmoid函數 梯度範圍可能變得越來越小 在反向傳播超過5層後，梯度可能會消失 激活函數 ReLU函數（rectified linear unit） 導數： ReLU可被近似爲softplut函數 x增加時ReLU的梯度不會消失，可以用來對正值輸入進行建模，由於無需計算指數函數所以它的計算速度很快，使用它可以不再需要「預訓練」過程。 ResNet：深度殘差

>>阅读原文<<