Pytorch optimizer.step() 和loss.backward()和scheduler.step()的關係與區別 （Pytorch 代碼講解）

由於有人問我optimizer的step爲何不能放在min-batch那個循環以外，還有optimizer.step和loss.backward的區別；那麼我想把答案記錄下來。html 首先須要明確optimzier優化器的做用, 形象地來講，優化器就是須要根據網絡反向傳播的梯度信息來更新網絡的參數，以起到下降loss函數計算值的做用，這也是機器學習裏面最通常的方法論。python 從優化器的做用

>>阅读原文<<