深度梯度壓縮：降低分佈式訓練的通信帶寬

ICLR 2018 將在當地時間明年 4 月 30 日～5 月 3 日在加拿大溫哥華舉辦。目前正處於評審階段的會議論文也正陸續公開。近日，機器之心發現了這樣一篇有望極大改善分佈式訓練效率的研究論文。以下是我們對該論文的摘要介紹。 大規模分佈式訓練可以提升越來越深和越來越大的模型的訓練效率（Chilimbi et al., 2014; Xing et al., 2015; Moritz et al.

>>阅读原文<<