深度學習平臺的分佈式實現綜述

前一篇文章中，咱們提到了Eric Xing教授針對如何構建大規模機器學習平臺的綜述[1]，包含數據並行，模型並行等，那麼具體到深度學習來講，應當如何有效構建呢？本文在這方面作個簡要概述。git 若是模型可以在單個節點裝下，那麼採用數據並行是最適合的，利用DownpourSGD（既DistBelief）結構的參數服務器能夠很容易實現分佈式深度學習，這種方式很適合於大量數據和較小模型的訓練方式。git

>>阅读原文<<