PyTorch 大批量數據在單個或多個 GPU 訓練指南

在深度學習訓練中，我們經常遇到 GPU 的內存太小的問題，如果我們的數據量比較大，別說大批量（large batch size）訓練了，有時候甚至連一個訓練樣本都放不下。但是隨機梯度下降（SGD）中，如果能使用更大的 Batch Size 訓練，一般能得到更好的結果。所以問題來了： 問題來了：當 GPU 的內存不夠時，如何使用大批量（large batch size）樣本來訓練神經網絡呢？ 這篇文

>>阅读原文<<