Batch Normalization 詳解

BN是在激活層之前添加的。作用是把下一層(激活層)的輸入量標準化，更容易學習到數據之中的規律。 從上圖可以看出，如果沒有標準化，前面遇到較大的值之後，下一層的激活函數就很難進行處理了。比如tanh，此時Wx2已經大於1，基本激活已經沒有作用了，不敏感了。 Batch Normalization (BN) 就被添加在每一個全連接和激勵函數之間. 從下圖可以看出，進行了BN的數的分佈在-1到1之間，這

>>阅读原文<<