BN和Dropout在訓練和測試時的差別

Batch Normalization BN，Batch Normalization，就是在深度神經網絡訓練過程中使得每一層神經網絡的輸入保持相近的分佈。 BN訓練和測試時的參數是一樣的嘛？ 對於BN，在訓練時，是對每一批的訓練數據進行歸一化，也即用每一批數據的均值和方差。 而在測試時，比如進行一個樣本的預測，就並沒有batch的概念，因此，這個時候用的均值和方差是全量訓練數據的均值和方差，這個可

>>阅读原文<<