Horovod源碼剖析（一）

Horovod源碼剖析： 核心模塊 – operations horovod/common/operations.h 首先了解一下mpi常見的通信操作 MPI-Scatter：scatter與broadcast類似都是一對多的通信，將一段array 的不同部分發送給所有的進程 MPI-Boardcast：與scatter進行區分，broadcast是將0號進程將相同的信息發送給所有的進程； MPI

>>阅读原文<<