ICLR-20 | 曠視研究院提出MABN：解決小批量訓練BN不穩定的問題

儘管批歸一化技術(BN)在深度學習領域非常成功，但當樣本批次非常小時，如何使用BN依然充滿挑戰。小批次的批統計量非常不穩定，會導致模型訓練的收斂速度較慢，推理性能欠佳。曠視研究院提出滑動平均歸一化（MABN）來解決小批次訓練問題。在小批次情況下，MABN可以完全恢復原始BN在充足批次量下的性能，並與Group Normalization等非線性方法相比，推理效率更高。MABN在多種計算機視覺任務的

>>阅读原文<<