Caffe-MPI實現多機多卡訓練

MPI簡介 對MPI的定義是多種多樣的 ，但不外乎下面三個方面，它們限定了MPI的內涵和外延。 MPI是一個庫，而不是一門語言。許多人認爲MPI就是一種並行語言，這是不準確的。但是，按照並行語言的分類，可以把FORTRAN+MPI或C+MPI 看作是一種在原來串行語言基礎之上擴展後得到的並行語言。MPI庫可以被FORTRAN77/C/Fortran90/C++調用。從語法上說 它遵守所有對庫函數/

>>阅读原文<<