Group Normalization

GN是針對batch normalization(BN)在batch size較小時錯誤率較高而提出的改進算法，因爲BN層的計算結果依賴當前batch數據，當batch size較小時（比如2,4），該batch數據的均值和方差的代表性較差，這樣導致的結果較差，因此對最後的結果也影響較大。而在batch size 較大時（>16）沒什麼差別。在分類任務一般能包含大batch，但在檢測分割及視頻相關

>>阅读原文<<