『TensorFlow』分佈式訓練_其三_多機分佈式

轉載自：https://www.cnblogs.com/hellcat/p/9194115.html 一、基本概念 Cluster、Job、task概念：三者可以簡單的看成是層次關係，task可以看成每臺機器上的一個進程，多個task組成job；job又有：ps、worker兩種，分別用於參數服務、計算服務，組成cluster。 同步更新 各個用於並行計算的電腦，計算完各自的batch 後，求取梯

>>阅读原文<<