[深度學習] 分佈式模式介紹 --- Tensorflow, Horovod

分佈式訓練策略 1.模型並行 所謂模型並行指的是將模型部署到很多設備上（設備可能分佈在不同機器上，下同）運行，比如多個機器的GPUs。當神經網絡模型很大時，由於顯存限制，它是難以在跑在單個GPU上，這個時候就需要模型並行。比如Google的神經機器翻譯系統，其可能採用深度LSTM模型，如下圖所示，此時模型的不同部分需要分散到許多設備上進行並行訓練。深度學習模型一般包含很多層，如果要採用模型並行策略

>>阅读原文<<