Batch Norm、Layer Norm

batch norm： 每一batch的樣本具有相同的均值和方差 我們在對數據訓練之前會對數據集進行歸一化，歸一化的目的歸一化的目的就是使得預處理的數據被限定在一定的範圍內（比如[0,1]或者[-1,1]），從而消除奇異樣本數據導致的不良影響。雖然輸入層的數據，已經歸一化，後面網絡每一層的輸入數據的分佈一直在發生變化，前面層訓練參數的更新將導致後面層輸入數據分佈的變化，必然會引起後面每一層輸入數據

>>阅读原文<<