深度神經網絡的分佈式訓練概述：常用方法和技巧全面總結

論文地址：https://arxiv.org/abs/1810.11787 深度學習已經爲人工智能領域帶來了巨大的發展進步。但是，必須說明訓練深度學習模型需要顯著大量的計算。在一臺具有一個現代 GPU 的單臺機器上完成一次基於 ImageNet 等基準數據集的訓練可能要耗費多達一週的時間，研究者已經觀察到在多臺機器上的分佈式訓練能極大減少訓練時間。近期的研究已經通過使用 2048 個 GPU 的集

>>阅读原文<<