論文筆記——分佈式深度學習框架下基於性能感知的DBS—SGD算法

論文筆記——分佈式深度學習框架下基於性能感知的DBS—SGD算法 分佈式深度學習框架下基於性能感知的DBS—SGD算法 這篇論文裏各個細節都講得特別清楚。 充分考慮了各個客戶端端點的異構性，同時考慮了異步訓練過程中梯度過時得到問題。 對各節點的minibatch進行動態分配，保證了節點間每次迭代更新的時間基本一致，進而降低了節點的平均梯度過時值。   分佈式架構中的參數服務器 參數服務器的兩個操作

>>阅读原文<<