如何理解深度學習中分佈式訓練中large batch size與learning rate的關係

轉自：https://www.zhihu.com/people/xutan 最近在進行多GPU分佈式訓練時，也遇到了large batch與learning rate的理解調試問題，相比baseline的batch size，多機同步並行（之前有答案是介紹同步並行的通信框架NCCL（譚旭：如何理解Nvidia英偉達的Multi-GPU多卡通信框架NCCL？），有興趣可以查看）等價於增大batch

>>阅读原文<<