分佈式TensorFlow多主機多GPU原理與實現

TF的部署分爲單機部署和分佈式部署。在訓練集數據量很大的狀況下，單機跑深度學習程序過於耗時，因此須要分佈式並行計算。在分佈式部署中，咱們須要在不一樣主機節點，實現client，master，worker。python 1. Single-Device Execution 1.1 單機多GPU訓練 構建好圖後，使用拓撲算法來決定執行哪個節點，即對每一個節點使用一個計數，值表示所依賴的未完成的節點數目

>>阅读原文<<