Tensorflow分佈式機器學習平臺

分佈式機器學習的必要性： TF的實現分爲了單機實現和分佈式實現，在分佈式實現中，需要實現的是對client，master，worker process不在同一臺機器上時的支持。 數據量很大的情況下，單機跑深度學習程序，過於耗時，所以需要TensorFlow分佈式並行。 分佈式機器學習分爲單機多卡訓練與多機多卡訓練。   單機多GPU訓練：   單機多GPU的訓練過程： CPU承擔了調度與參數的保存

>>阅读原文<<