用參數服務器擴展分佈式機器學習

Scaling Distributed Machine Learning with the Parameter Server 背景 1.大規模機器學習的特點 模型參數很大，超過了單機容量 訓練數據量大，需要並行加速 2.分佈式機器學習的挑戰 高效通信：異步通信模型針對機器學習任務進行了優化，以減少網絡流量和開銷。 靈活的一致性模型：一致性模型允許開發人員在算法收斂性和系統性能之間進行權衡。 可伸縮

>>阅读原文<<