深度學習TensorFlow如何使用多GPU並行模式？

TensorFlow可以用單個GPU，加速深度學習模型的訓練過程，但要利用更多的GPU或者機器，需要了解如何並行化地訓練深度學習模型。 常用的並行化深度學習模型訓練方式有兩種：同步模式和異步模式。 下面將介紹這兩種模式的工作方式及其優劣。 如下圖，深度學習模型的訓練是一個迭代的過程。 在每一輪迭代中，前向傳播算法會根據當前參數的取值，計算出在一小部分訓練數據上的預測值，然後反向傳播算法，再根據損失

>>阅读原文<<