深度學習優化算法解析(Momentum, RMSProp, Adam)

以前看了不少人介紹網絡的優化器optimizer，無奈不少都把簡單的東西講的複雜化了，不容易讓人懂，剛好以前看過吳恩達老師的最新的課程，這裏結合老師講的和我的想法寫一下，方便別人同時也爲本身之後回顧吧。web 深度學習的優化算法主要有GD，SGD，Momentum，RMSProp和Adam算法吧，還有諸如Adagrad算法，不過大同小異，理解了前面幾個，後面的也就引刃而解了。GD算法，SGD算法以

>>阅读原文<<