pytorch的梯度反向傳播 detach backward

一、梯度的傳播反向傳播什麼時候停止 1.爲葉子節點時【反向時前面沒有與之相連的節點】 常見的葉子節點【輸入】 2.該節點唯一相連的節點的require_grads=False 3.該節點唯一相連的節點使用detach函數時 該方法常用於GAN網絡生成器的輸出使用detach時,pytorch不對生成器進行梯度計算,葉子節點爲判別器的首個參數 二、 detach梯度分離的使用 https://www
相關文章
相關標籤/搜索