梯度消失問題與如何選擇激活函數

本文結構： 什麼是梯度消失？ 梯度消失有什麼影響？ 是什麼原因？ 解決方案有哪些？ 如何選擇激活函數？ 1. 什麼是梯度消失？ 梯度消失，常常發生在用基於梯度的方法訓練神經網絡的過程中。 當我們在做反向傳播，計算損失函數對權重的梯度時，隨着越向後傳播，梯度變得越來越小，這就意味着在網絡的前面一些層的神經元，會比後面的訓練的要慢很多，甚至不會變化。 2. 有什麼影響？ 網絡的前面的一些層是很

>>阅读原文<<