BN層的解釋說明（包含梯度消失和梯度爆炸的原理及解決方法）

基礎知識（梯度爆炸和梯度消失）： 梯度爆炸：可以用這個圖直觀呈現，也就是梯度變化爲正無窮或者負無窮（個人理解）。 梯度消失： 簡單來說就是梯度接近0，神經網絡的權重不再更新，繼續訓練學習不到圖像的特徵了。 解決梯度消失和爆炸的方法： 1.網路結構的改變，如RNN通過梯度截斷來處理，LSTM通過門控制系統來解決梯度爆炸問題 2. 激活函數sigmod函數改爲RULE函數，避免梯度消失 3.  通過加

>>阅读原文<<