【深度學習篇】--神經網絡中解決梯度彌散問題

 一、前述 在梯度下降中，隨着算法反向反饋到前面幾層，梯度會越來越小，最終，沒有變化，這時或許還沒有收斂到比較好的解，這就是梯度消失問題，深度學習遭受不穩定的梯度，不同層學習在不同的速度上   二、解決梯度彌散和消失方法一，初始化權重使用he_initialization 1、舉例 如果我們看邏輯激活函數，當輸入比較大，不管正負，將會飽和在0或1，這樣梯度就是0，因此當反向傳播開始，它幾乎沒有梯度

>>阅读原文<<