Pytorch入門之自動梯度模塊隱藏梯度和除以批量大小

前段時間，有同學問我在用神經網絡模擬一個線性迴歸問題時，在SGD中的step()的源碼中爲何沒有出現梯度和除以批量大小的式子，其實這個「除以批量大小」已經被backward()函數計算在內了，step()函數中只需要做學習率與梯度相乘，然後和原梯度相減就行了。至於原因，我將從理論到代碼去分析，因爲式子太多，打字不方便，就直接寫紙上了：

>>阅读原文<<