並行訓練的原理 | Tensor Flow 支持使用多個GPU 或者機器實現深度學習模型的並行訓練

Tensor Flow 支持使用多個GPU 或者機器實現深度學習模型的並行訓練，但在此之前需要了解並行訓 練的原理以及如何並行化地訓練深度學習模型才更加合理。大體上，實現深度學習模型的並行化訓練、可以分爲兩種不同的方式一一數據並行的方式和模型並行的方式，在本節將對這兩種方式進行介紹並比較二者間的優劣。首先看一下不使用並行的方式訓練深度學習模型的過程，整個過程如下圖所示。在每一輪法代訓練 中，當前參

>>阅读原文<<