Horovod

Horovod是一個支持TensorFlow、Keras、PyTorch和Apache MXNet的分佈式訓練框架。Horovod的目標是讓分佈式深度學習更快更易用。  爲啥不用原生的TensorFlow分佈式訓練?  1、代碼改動多少? 2、比原生的分佈式訓練快多少? Horovod用的MPI比分佈式TensorFlow用的parameter servers,簡單直接得多。而且,Horovod更
相關文章
相關標籤/搜索