Tensorflow分佈式並行策略

tensorFlow中主要包括了三種不一樣的並行策略，其分別是數據並行、模型並行、模型計算流水線並行，具體參考Tenssorflow白皮書，在接下來分別簡單介紹三種並行策略的原理。web 數據並行 一個簡單的加速訓練的技術是並行地計算梯度，而後更新相應的參數。數據並行又能夠根據其更新參數的方式分爲同步數據並行和異步數據並行，同步的數據並行方式如圖所示，tensorflow圖有着不少的部分圖模型計算

>>阅读原文<<