【CVPR2018】Group Normalization

作者   摘要 BN是一個深度學習發展的里程碑，給多種網絡訓練賦能。但當batch變小，由於不準確的batch統計估計，BN的錯誤率會快速增加。這限制了BN在大模型的應用。本文提出Group Normalization（GN），作爲BN的一個簡單替換。GN將通道數分成多個組，在每個組計算均值和方差來歸一化，計算獨立於batch size，且在batchsize的大變化範圍內性能穩定。在ImageN

>>阅读原文<<