深度學習之---batchsize與lr rate之間的關係以及批處理梯度下降法

雷鋒網 AI科技評論按，本文源自譚旭在知乎問題【如何理解深度學習分佈式訓練中的large batch size與learning rate的關係？】下的回答，雷鋒網(公衆號：雷鋒網) AI科技評論獲其授權轉載。 問題詳情： 在深度學習進行分佈式訓練時，常常採用同步數據並行的方式，也就是採用大的batch size進行訓練，但large batch一般較於小的baseline的batch size性

>>阅读原文<<