單機多 GPU 加速 TensorFlow 程序

模型並行意味着需要根據不同模型設計不同的並行方式，並將模型中不同計算節點放在不同硬件資源上運算。相比模型並行而言，數據並行比較通用，並且能簡便地實現大規模並行。 數據並行的通用性表現在它幾乎適用於所有深度學習模型。我們可以 利用多塊 GPU 同時進行模型訓練，運行在每塊 GPU上的模型會獲得屬於自 己的一份 batch 數據，並且這些模型都是同一個神經網絡，它們共享一份模型參數。 首先導入一些相關

>>阅读原文<<