pytorch分佈式訓練使用筆記

參考： DDP使用講解：https://zhuanlan.zhihu.com/p/113694038 官方ImageNet分佈式訓練案例： https://github.com/pytorch/examples/blob/e49fa5846f/imagenet/main.py 官方DDP使用案例： https://github.com/pytorch/examples/blob/e49fa5846

>>阅读原文<<