tensorflow使用多個gpu訓練同一個模型

  關於多gpu訓練,tf並沒有給太多的學習資料，比較官方的只有：tensorflow-models/tutorials/image/cifar10/cifar10_multi_gpu_train.py 但代碼比較簡單，只是針對cifar做了數據並行的多gpu訓練，利用到的layer、activation類型不多，針對更復雜網絡的情況，並沒有給出指導。自己摸了不少坑之後，算是基本走通了，在此記錄下

>>阅读原文<<