TensorFlow單機與分佈式總結

單機多GPU訓練 先簡單介紹下單機的多GPU訓練，然後再介紹分佈式的多機多GPU訓練。 單機的多GPU訓練， tensorflow的官方已經給了一個cifar的例子，已經有比較詳細的代碼和文檔介紹，這裏大致說下多GPU的過程，以便方便引入到多機多GPU的介紹。 單機多GPU的訓練過程： 通俗解釋： 老師給小明和小華佈置了10000張紙的乘法題並且把所有的乘法的結果加起來，每張紙上有128道乘法題。

>>阅读原文<<