PyTorch如何加速數據並行訓練？分佈式祕籍大揭祕

本文轉載自機器之心。 選自arXiv 作者：Shen Li等 機器之心編譯 參與：小舟、杜偉 PyTorch 在學術圈裏已經成爲最爲流行的深度學習框架，如何在使用 PyTorch 時實現高效的並行化？ 在芯片性能提升有限的今天，分佈式訓練成爲了應對超大規模數據集和模型的主要方法。本文將向你介紹流行深度學習框架 PyTorch 最新版本（ v1.5）的分佈式數據並行包的設計、實現和評估。 論文地址：

>>阅读原文<<