各種歸一化層（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）及其Pytorch實現

BN，LN，IN，GN從學術化上解釋差異： BatchNorm：batch方向做歸一化，算NHW的均值，對小batchsize效果不好；BN主要缺點是對batchsize的大小比較敏感，由於每次計算均值和方差是在一個batch上，所以如果batchsize太小，則計算的均值、方差不足以代表整個數據分佈 LayerNorm：channel方向做歸一化，算CHW的均值，主要對RNN作用明顯； Inst

>>阅读原文<<