【零基礎】神經網絡優化之Adam

一、序言 　　Adam是神經網絡優化的另一種方法，有點類似上一篇中的「動量梯度下降」，實際上是先提出了RMSprop（類似動量梯度下降的優化算法），而後結合RMSprop和動量梯度下降整出了Adam，所以這裏我們先由動量梯度下降引申出RMSprop，最後再介紹Adam。不過，由於RMSprop、Adam什麼的，真的太難理解了，我就只說實現不說原理了。 二、RMSprop 　　先回顧一下動量梯度下降

>>阅读原文<<