BatchNormalization、LayerNormalization區別

將輸入的圖像shape記爲[N, C, H, W]，區別就是在： batchNorm是在batch上，對NHW做歸一化，對小batchsize效果不好； layerNorm在通道方向上，對CHW歸一化，主要對RNN作用明顯； 在上圖中每個顏色表示一個訓練樣本，每個樣本都有自己的長度。BN是按與y軸平行的方向計算統計量（即[N,T]）。由於BN中每個樣本的長度都不一樣，計算的 ​​​​​​​均值 和

>>阅读原文<<