什麼是梯度消失和梯度爆炸及如何解決

原因 梯度消失 （Vanishing Gradients） 在梯度下降中， 隨着算法反向的反饋， 梯度會越來越小，最終沒有變化，此時並沒有收斂到比好的解，這就是梯度消失的問題。 梯度爆炸 梯度爆炸原理跟梯度消失一樣，反向傳播時，導數大於1，導致梯度增加。 解決方法 激活函數 更換激活函數 ELU > leaky ReLU > ReLU > tanh > logistic 添加BN層 Batch N

>>阅读原文<<