pytorch backward

retain_graph 只有葉子節點的梯度會被保留 在pytorch裏面哪些是葉子節點呢？如果輸入是requires_grad=True的話,輸入是葉子節點，否則只有網絡的參數是葉子節點。 葉子節點的梯度是累積的，也就是說如果多次調用backward沒有對葉子節點的梯度清零的話，葉子節點的梯度是不斷的累加的，但是中間其他節點的 梯度是全新的，下面是例子 from __future__ impor

>>阅读原文<<