Switchable Normalization

Switchable Normalization BN 會對訓練過程產生更重要的影響：它使優化解空間更加平滑了，這種平滑使梯度更具有可預測性和穩定性，從而使訓練過程更快。 Minibatch 對 BN的影響最大，因爲BN的均值和方差是在minibatch上統計的，minibatch越小，這些統計量的估計會帶來更大的噪聲，對模型訓練產生的過大正則化，從而影響模型的泛化能力。而LN,IN,GN在計算量

>>阅读原文<<