pytorc使用多個GPU同時訓練及常見問題解決辦法

在pytorch上使用多個GPU（在同一臺設備上，並非分佈式）進行訓練是件非常容易的事情，只要在源代碼中添加（修改）兩行代碼即可。下面貼上官方教程給的示例代碼。並在文末總結一些自己在使用多GPU實驗時發現的問題。 官方tutorial 把模型放在GPU上: device = torch.device("cuda:0") model.to(device) 將tensor複製到GPU上 mytenso

>>阅读原文<<