機器學習中的梯度消失問題vanishing gradient

翻譯自Nikhil Garg的Quora回答。 梯度消失是使用梯度下降方法的神經網絡中出現的問題，其表現是，在反向回饋（backpropagation）中使整個網絡難以調節前面幾層的參數（Parameter）。當網絡的層數越多時，梯度消失表現越明顯。 這個問題不是神經網絡所帶來的，而是由特定的激活函數（activation function）採用梯度下降的方法所帶來的。 問題 梯度下降方法通過參數

>>阅读原文<<