TensorFlow多GPU並行的實現

    深度學習算法由於其數據量大、算法複雜度高等特點，常常需要採用某種形式的並行機制，常用的並行方法有數據並行（data parallel）和模型並行（model parallel）兩種。儘管現有的深度學習框架大多都支持多GPU，但caffe、theano、tensorflow採用的都是數據並行，而亞馬遜推出的DSSTNE（Deep Scalable Sparse Tensor Network

>>阅读原文<<