【深度學習】深度學習優化算法總結

在開玩笑的時候，我們自稱研究深度學習的人爲煉丹師。所謂煉丹，就是拿到同一種丹藥的配方，可能煉出來的丹藥的效果也是不一樣的。深度學習也是如此，同一種模型，採取不同的優化策略，所得到的結果往往不同。在探究深度學習算法的優化策略過程中，人們大概經歷過以下幾個階段： SGD-> Momentum -> Nesterov -> Adagrad -> RMSProp -> Adam ->Nadam。 由於最近

>>阅读原文<<