pytorch中的 requires_grad和volatile

  簡單總結 (1)requires_grad = Fasle 時不需要更新梯度, 適用於凍結某些層的梯度; (2)volatile = True 相當於 requires_grad = False。有時候,我們可能不希望autograd對tensor求導。認爲求導需要緩存許多中間結構,增加額外的內存/顯存開銷,那麼我們可以關閉自動求導。對於不需要反向傳播的情景(如inference,即測試推理時
相關文章
相關標籤/搜索