Batch Norm理解

Batch Norm即批規範化，目的是爲了解決每批數據訓練時的不規則分佈給訓練造成的困難。 作用： 網上描述：深度神經網絡主要就是爲了學習訓練數據的分佈，並在測試集上達到很好的泛化效果，但是，如果我們每一個batch輸入的數據都具有不同的分佈，顯然會給網絡的訓練帶來困難。經過一層層網絡計算後，數據分佈在不斷髮生着變化，此現象稱爲Internal Covariate Shift，進行BN能夠解決這一

>>阅读原文<<