MegDet: A Large Mini-Batch Object Detector

分類網絡如ReseNet-50的mini-batch尺寸已經很大了，如8192或16000.但檢測網絡的mini-batch尺寸確很小，如2-16。小的batch尺寸有什麼問題？一是訓練時間長，二是無法爲BN提供精確的統計信息。三是正負樣本比例不平衡，如下圖a-b所示。 但是直接增加batch尺寸有什麼問題呢？大的batch尺寸需要比較大的學習率去保持精度，但大的學習率通常會導致無法收斂。爲解決這

>>阅读原文<<