分佈式深度學習原理

無監督的特徵學習和深度學習已經證明，通過海量的數據來訓練大型的模型可以大大提高模型的性能。但是，考慮需要訓練的深度網絡模型有數百萬甚至數十億個參數需要訓練，這其實是一個非常複雜的問題。我們可以很快完成複雜模型的訓練，而不用等待幾天甚至幾個星期的時間呢？Dean等人提出了一個可行的訓練方式，使我們能夠在多臺物理機器上訓練和serving一個模型 作者提出了兩種新的方法來完成這個任務，即模型並行和數據

>>阅读原文<<