Horovod 通訊策略

由於最近的工做要和Horovod打交道，因此分析了Horovod的源碼。在這裏記一筆。html Horovod有幾個亮點，第一，它不依託於某個框架，本身經過MPI創建了一套分佈式系統，完成了allreduce, allgather等collective operations通訊工做. 第二，發現了Tensor fusion, 梯度傳遞的時候能夠將小的tensor合併成一個大的tensor再進行傳遞

>>阅读原文<<