pytorch分佈式訓練（四Sampler介紹）

初步掌握pytorch分佈式後（見文章1），接下來分析用到的類：python 1、DistributedSampler（Sampler） pytorch在對dataset進行Sampler時候，經過修改indics進行識別在哪一個GPU上運行，代碼以下。 主要經過indices[self.rank:self.total_size:self.num_replicas]進行多GPU的index索引。w

>>阅读原文<<