Caffe 多GPU卡相關代碼理解

Caffe的NVIDIA GPU多卡訓練使用NVIDIA nccl進行管理的，具體細節需要進一步深入的學習理解。當前只描述它的基本實現過程。 Class的基本關聯關係圖 基本流程 初始化階段---構造NCCL 初始化solver_。 初始化size_(所有要學習的blobs的大小之和)。 獲取並指定GPU卡(默認爲0)，分配size_大小的GPU內存data_(用於保存weight和bias的數據

>>阅读原文<<