pytorch 多GPU訓練總結（DataParallel的使用）

這裏記錄用pytorch 多GPU訓練 踩過的許多坑   僅針對單服務器多gpu 數據並行 而不是 多機器分佈式訓練php 1、官方思路包裝模型 這是pytorch 官方的原理圖  按照這個官方的原理圖  修改應該參照python https://blog.csdn.net/qq_19598705/article/details/80396325數組 上文也用dataParallel 包裝了opt

>>阅读原文<<