TensorFlow多GPU並行的實現

       深度學習算法因爲其數據量大、算法複雜度高等特色，經常須要採用某種形式的並行機制，經常使用的並行方法有數據並行（data parallel）和模型並行（model parallel）兩種。儘管現有的深度學習框架大多都支持多GPU，但caffe、theano、tensorflow採用的都是數據並行，而亞馬遜推出的DSSTNE（Deep Scalable Sparse Tensor Net

>>阅读原文<<