BatchNorm VS InstanceNorm

1.BatchNorm  Batch_Norm是對一個☝️batch進行規整，是爲了防止同一個batch間的梯度相互抵消。其將不同batch規整到同一個均值0和方差1，這就要兩個參數來記錄batch的均值e,方差c。其是對每一個神經元進行的，由於將均值方差規整到同一個數字，限制了特徵的分佈特性，因此會降低網絡的表達能力，所以還要引入a1和a2來改變每一個特徵維度的概率分佈，從而增加網絡的表達能力。

>>阅读原文<<