PyTorch學習筆記(12)——PyTorch中的Autograd機制介紹

在《PyTorch學習筆記(11)——論nn.Conv2d中的反向傳播實現過程》[1]中，談到了Autograd在nn.Conv2d的權值更新中起到的用處。今天將以官方的說明爲基礎，補充說明一下關於計算圖、Autograd機制、Symbol2Symbol等內容。 0. 提出問題 不知道大家在使用PyTorch的時候是否有過「爲什麼在每次迭代（iteration）的時候，optimizer都要清空？

>>阅读原文<<