pytorch面試總結

一. pytorch多卡訓練的原理 思想 （1）將模型加載到一個指定的主GPU上，而後將模型淺拷貝到其它的從GPU上； （2）將總的batch數據等分到不一樣的GPU上（坑：須要先將數據加載到主GPU上）； （3）每一個GPU根據本身分配到的數據進行forward計算獲得loss，並經過backward獲得權重梯度； （4）主GPU將全部從GPU獲得的梯度進行合併並用於更新模型的參數。 實現 （1

>>阅读原文<<