Tensorflow 多 GPU 訓練

介紹 TensorFlow中的並行主要分爲模型並行和數據並行。 模型並行須要根據不一樣模型設計不一樣的並行方式， 其主要原理是將模型中不一樣計算節點放在不一樣硬件資源上運算。 比較通用的且能簡便地實現大規模並行的方式是數據並行， 其思路咱們在第1章講解過， 是同時使用多個硬件資源來計算不一樣batch的數據的梯度， 而後彙總梯度進行全局的參數更新。python 數據並行又分爲同步和異步，同步訓練是

>>阅读原文<<