cs231_n6.2_批量歸一化

想要保持單位高斯激活，那麼就需要做批量歸一化，即在神經網絡中額外加入一層，以使得中間的激活值均值爲0方差爲1。 BN，LN，IN，GN從學術化上解釋差異： BatchNorm：batch方向做歸一化，算NHW的均值，對小batchsize效果不好；BN主要缺點是對batchsize的大小比較敏感，由於每次計算均值和方差是在一個batch上，所以如果batchsize太小，則計算的均值、方差不足以代

>>阅读原文<<