ring-allreduce簡介

今天無聊看到了ring-allreduce的gpu通信算法，本來希望在相關網頁上看看相關介紹的，但是在baidu research上卻搜不到相關的東西，後來看了看baidu-allreduce代碼的註釋，才明白。這是一個說明起來挺簡單的算法，自己打算隨便說說。 覺得英文好的可以直接看看GitHub上註釋，寫的很清晰：https://github.com/baidu-research/baidu-a

>>阅读原文<<