深度學習分佈式訓練實戰（一）

本系列博客主要介紹使用Pytorch和TF進行分佈式訓練，本篇重點介紹相關理論，分析爲什麼要進行分佈式訓練。後續會從代碼層面逐一介紹實際編程過程中如何實現分佈式訓練。 文章目錄 常見的訓練方式 單機單卡（單GPU） 單機多卡（多GPU並行） 多機多卡（分佈式） 爲什麼要使用分佈式訓練 Batch Size對訓練的影響 分佈式訓練實現方式 數據並行 模型並行 混合並行 多GPU訓練的參數更新方式 總

>>阅读原文<<