機器學習之優化算法學習總結

優化算法演化歷程 機器學習和深度學習中使用到的優化算法的演化歷程以下： SGD –> Momentum –> Nesterov –> Adagrad –> Adadelta –> Adam –> Nadam web 表1  優化算法演化過程及其原因 表 1     優 化 算 法 演 化 過 程 及 其 原 因 演化過程 緣由 SGD –> Momentum 因爲SGD在優化過程當中容易產生震盪，

>>阅读原文<<