Cross-Iteration Batch Normalization

Cross-Iteration Batch Normalization 批量歸一化的一個衆所周知的問題是，在mini-batch的情況下，它的有效性大大降低。當一個mini-batch包含很少的例子時，在訓練迭代中，無法可靠地估計歸一化所依據的統計數據。爲了解決這個問題，我們提出了Cross-Iteration Batch Normalization(CBN)，其中來自多個最近迭代的樣本被共同利用

>>阅读原文<<