pytorch .detach() .detach_() 和 .data用於切斷反向傳播

參考:https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-autograd/#detachsourcehtml 當咱們再訓練網絡的時候可能但願保持一部分的網絡參數不變,只對其中一部分的參數進行調整;或者值訓練部分分支網絡,並不讓其梯度對主網絡的梯度形成影響,這時候咱們就須要使用detach()函數來切斷一些分支的
相關文章
相關標籤/搜索