多GPU訓練機制

引言 一般狀況下，在深度學習中使用梯度降低算法進行訓練時，每每須要較大的batch-size才能得到良好的性能。而當咱們選擇比較大型的網絡時(如DenseNet121)，因爲GPU資源有限，咱們每每要減少batch-size。可是batch-size過小的話會影響性能，這時候若是硬件條件容許的狀況下可使用多GPU進行訓練。 多GPU又分爲單機多卡和多機多卡。這篇博客僅介紹單機多卡。web 單機單卡

>>阅读原文<<