BatchNorm、LayerNorm、InstanceNorm、GroupNorm區別

pytorch中BatchNorm、LayerNorm、InstanceNorm、GroupNorm區別   BN，LN，IN，GN從學術化上解釋差異： BatchNorm：batch方向做歸一化，算NHW的均值，對小batchsize效果不好；BN主要缺點是對batchsize的大小比較敏感，由於每次計算均值和方差是在一個batch上，所以如果batchsize太小，則計算的均值、方差不足以代表

>>阅读原文<<