Tensorflow ——並行計算

Tensorflow ——並行計算 數據並行 一個簡單的加速訓練的技術是並行地計算梯度，然後更新相應的參數。數據並行又可以根據其更新參數的方式分爲同步數據並行和異步數據並行，同步的數據並行方式如圖所示，tensorflow圖有着很多的部分圖模型計算副本，單一的客戶端線程驅動整個訓練圖，來自不同的設備的數據需要進行同步更新。這種方式在實現時，主要的限制就是每一次更新都是同步的，其整體計算時間取決於性

>>阅读原文<<