Tensorflow分佈式訓練

Tensorflow分佈式訓練 一、分佈式訓練模式 1、模型並行（In-graph） 2、數據並行（Between-graph） 二、異步、同步訓練 1、異步訓練 2、同步訓練 三、同步更新和異步更新的優缺點 四、分佈式機器類型（TODO） 1、單機單卡 2、單機多卡 3、多機多卡 一、分佈式訓練模式 1、模型並行（In-graph） 所謂模型並行指的是將模型部署到很多設備上（設備可能分佈在不同機

>>阅读原文<<