深度學習中多GPU訓練

針對這個問題： 深度學習中多GPU訓練是否等價於增大batch size？ - 知乎 https://www.zhihu.com/question/323307595web 先說我認爲的結論，若誇卡訓練中有統計數據同步（好比BN層的runing average 和 variance），這時單卡和多卡效果是同樣的，只不過多卡增大了batch size，不然就不是嚴格的增大batch，由於統計數據可能

>>阅读原文<<