Tensorflow分佈式

當單機多卡也無法滿足訓練的速度需求的話，那就需要上分佈式，搞多臺機器一起訓練了，也可以說是多機多卡吧。談到分佈式，必不可少的一個概念就是集羣，先來看下TensorFlow官方對集羣的定義： 翻譯一下就是，Tensorflow 集羣是一系列分佈式執行計算圖的tasks, 每一個 task 與一個server 相對應，一個server 包含 master service和 worker service

>>阅读原文<<