PyTorch入門實戰教程筆記（十八）：過擬合2

PyTorch入門實戰教程筆記（十八）：過擬合2（訓練小技巧） 動量和學習率衰減 動量（momentum） 　　我們先來回顧一下梯度更新的公式：wk+1 = wk - α▽f(wk),而動量再次基礎上增加了一個zk參數（多減去一個β倍的zk）,我們知道，當它減去梯度的時候，是往梯度方向走，當它減去zk，是不是就是往zk方向走，那麼zk是什麼呢?　ｚk+1 = βｚk - ▽f(wk)，所以ｚk 是

>>阅读原文<<