【深度學習】深度學習優化算法總結

在開玩笑的時候，咱們自稱研究深度學習的人爲煉丹師。所謂煉丹，就是拿到同一種丹藥的配方，可能煉出來的丹藥的效果也是不同的。深度學習也是如此，同一種模型，採起不一樣的優化策略，所獲得的結果每每不一樣。在探究深度學習算法的優化策略過程當中，人們大概經歷過如下幾個階段： SGD-> Momentum -> Nesterov -> Adagrad -> RMSProp -> Adam ->Nadam。web

>>阅读原文<<