線性迴歸之Nesterov梯度降低（nesterov）

對於梯度降低，只能說：沒有最可怕，只有更可怕。 當動量梯度降低出來以後不久，就有大神再次提出nesterov梯度降低的方法，也是繼承了動量梯度的思修，可是它認爲，即便當前的梯度爲0，因爲動量的存在，更新梯度依然會存在並繼續更新w。python 而繼續當前點w的梯度是不太有意義的，有意義的是，假設下一個點w（僅靠動量滾到下一個點的w）的梯度方向纔是決定當前梯度的重要因素。web 舉個通俗的例子就是，

>>阅读原文<<