深度學習優化算法——徹底搞懂Nesterov accelerated gradient (NAG)

在上一篇中，我們學習了Momentum優化算法，這一篇我們學習什麼是Nesterov accelerated gradient (NAG)。 Momentum優化算法的核心就是考慮了歷史梯度，根據當前的梯度值和歷史梯度值合併後在進行梯度下降。 如果不瞭解Momentum，傳送門：深度學習優化算法——徹底搞懂Momentum Momentum在遇到局部最優解時，雖然當前時刻的梯度爲0，但是由於歷史梯

>>阅读原文<<