基於TensorFlow的多機多卡分佈式訓練搭建方法

1.概述 TensorFlow分佈式是基於GRPC庫實現的高性能集羣訓練框架，能有效的利用多機多卡資源，將大型的模型或者代碼拆分到各個節點分別完成，從而實現高速的模型訓練。python 以下圖所示，tensorflow的分佈式集羣中存在的節點主要有兩種：ps節點和worker節點，ps節點是用於保存和計算訓練參數的節點；worker節點是用於訓練的節點。因爲ps和worker節點都有可能存在多個，

>>阅读原文<<