分佈式訓練（理論篇）

https://zhuanlan.zhihu.com/p/129912419 算法分類 Parameter Server Ring All-reduce Ring All-Reduce Naive Approach Ring All-Reduce (Efficient Approach) 更新方式分類 同步式類型 異步式類型 並行方式分類 數據並行 模型並行(model parallel) 模型和

>>阅读原文<<