【ASPLOS '19】Hop: Heterogeneity-aware Decentralized Training

[ASPLOS '19] Hop: Heterogeneity-aware Decentralized Training算法 最近的工做代表,在機器學習的環境中,分散式算法能夠提供優於集中式算法的性能。這兩種方法的主要區別在於它們獨特的通訊模式,這兩種方法都易於在異構環境中下降性能。儘管已經作出了巨大努力來支持針對異構性的集中式算法,可是關於該問題的分散式算法卻鮮有研究。本文提出了Hop,這是第一
相關文章
相關標籤/搜索