淺顯易懂的分佈式TensorFlow入門教程

How to Write Distributed TensorFlow Code  分佈式機器學習策略 模型並行化 當模型過大以至於一臺及其的內存承受不住時，可以將計算圖的不同部分放到不同的機器中，模型參數的存儲和更新都在這些機器中進行。 一個最基本的方法是：把網絡第一層放在一臺機器上，第二層放在另一臺機器上。然而，這樣並不好，在前向傳播時，較深的層需要等待較淺的層，在發現傳播時，較淺的層需要等待

>>阅读原文<<