（九）批量歸一化

1、引入 對輸入數據做了歸一化處理，就是將每個特徵在所有樣本上的值轉歸一化成均值0方差1。這樣我們保證訓練數據裏數值都同樣量級上，從而使得訓練的時候數值更加穩定。對於淺層模型來說，通常數據歸一化預處理足夠有效。輸出數值在只經過幾個神經層後通常不會出現劇烈變化。但對於深層神經網絡來說，情況一般比較複雜。因爲每一層裏都對輸入乘以權重後得到輸出。當很多層這樣的相乘累計在一起時，一個輸出數據較大的改變都可

>>阅读原文<<