如何理解Nvidia英偉達的Multi-GPU多卡通信框架NCCL？

問題詳情： 深度學習中常常需要多GPU並行訓練，而Nvidia的NCCL庫NVIDIA/nccl（https://github.com/NVIDIA/nccl）在各大深度學習框架（Caffe/Tensorflow/Torch/Theano）的多卡並行中經常被使用，請問如何理解NCCL的原理以及特點？ 回答： NCCL是Nvidia Collective multi-GPU Communicatio

>>阅读原文<<