使用Horovod 實現TensorFlow、Keras、PyTorch分佈式訓練

1、什麼是Horovod Horovod是基於Ring-AllReduce方法的深度分佈式學習插件，以支持多種流行架構包括TensorFlow、Keras、PyTorch等。這樣平臺開發者只須要爲Horovod進行配置，而不是對每一個架構有不一樣的配置方法。 Ring-AllReduce方法是把每一個計算單元構建成一個環，要作梯度平均的時候每一個計算單元先把本身梯度切分紅N塊，而後發送到相鄰下一個

>>阅读原文<<