online norm 與 MABN

MABN MABN的出發點是BN依賴於大的BatchSize。作者發現，BN對於BatchSize的依賴不僅體現在均值和方差兩個統計量上，還體現在導數上。經過與Online Norm對比發現，這兩個對BatchSize依賴的導數項就是導數在 1 → \overrightarrow{1} 1 和 y → \overrightarrow{y} y ​上的投影。 從這個圖中可以看出，當BatchSize

>>阅读原文<<