pytorch分佈式訓練（二init_process_group）

backend str/Backend 是通訊所用的後端，能夠是"ncll" "gloo"或者是一個torch.distributed.Backend類（Backend.GLOO） init_method str 這個URL指定了如何初始化互相通訊的進程 world_size int 執行訓練的全部的進程數 rank int this進程的編號，也是其優先級 timeout timedelta 每

>>阅读原文<<