爲什麼GPU訓練網絡還不如CPU快

爲什麼GPU訓練網絡還不如CPU快 當網絡規模較小的時候，GPU是無法體現出計算上的優勢的，可能不光沒有加速效果，反而還不如CPU訓練的快。 只要加大網絡規模，當網絡足夠大的時候，GPU才能顯示出它的加速效果 Pytorch官網的這篇tutorial也提到相關的內容 如下 將下圖紅框參數都改爲200 在我筆記本上的加速效果如下,有三倍多的速度提升 CPU訓練用時20m0s GPU訓練用時5m59s

>>阅读原文<<