Group Normalization

Group Normalization 批量歸一化(BN)是深度學習發展中的里程碑技術，可以實現各種網絡的訓練。然而，沿着Batch維度進行歸一化會帶來一些問題–當批次規模變小時，BN的誤差會迅速增加，這是Batch統計估計不準確造成的。這限制了BN在訓練大型模型和將特徵轉移到計算機視覺任務（包括檢測、分割和視頻）中的使用，這些任務需要小批量的內存消耗限制。在本文中，我們提出了Group Norm

>>阅读原文<<