TensorFlow GPU集羣訓練配置 ConfigProto

經常使用的深度學習訓練模型爲數據並行化，即TensorFlow任務採用相同的訓練模型在不一樣的小批量數據集上進行訓練，而後在參數服務器上更新模型的共享參數。TensorFlow支持同步訓練和異步訓練兩種模型訓練方式。node 異步訓練即TensorFlow上每一個節點上的任務爲獨立訓練方式，不須要執行協調操做，以下圖所示： 同步訓練爲TensorFlow上每一個節點上的任務須要讀入共享參數，執行並

>>阅读原文<<