Batch normalization

傳統的神經網絡，只是在將樣本x輸入輸入層之前，對x進行標準化處理（減均值，除標準差），以降低樣本間的差異性。BN是在此基礎上，不僅僅只對輸入層的輸入數據x進行標準化，還對每個隱藏層的輸入進行標準化。 傳統方法 Batch Normalization BN 使用（小）批計算的均值和方差對特徵進行歸一化，以簡化優化使非常深的網絡能夠融合。批量統計的隨機不確定性也可以作爲一個正則化器，它可以適用於泛化。

>>阅读原文<<