深度學習TensorFlow如何使用多GPU並行模式？

TensorFlow能夠用單個GPU，加速深度學習模型的訓練過程，但要利用更多的GPU或者機器，須要瞭解如何並行化地訓練深度學習模型。 經常使用的並行化深度學習模型訓練方式有兩種：同步模式和異步模式。 下面將介紹這兩種模式的工做方式及其優劣。 以下圖，深度學習模型的訓練是一個迭代的過程。 在每一輪迭代中，前向傳播算法會根據當前參數的取值，計算出在一小部分訓練數據上的預測值，而後反向傳播算法，再根據

>>阅读原文<<