深度模型中的優化與參數初始化方法

基本的優化算法 Batch GD SGD SGD with 動量 SGD with Nesterov動量 自適應學習率算法 AdaGrad RMSProp RMSProp with Nesterov Adam: Adaptive Moments 比較與選擇 它們之間的關係如下： 對於如何選擇沒有達成共識，但結果表明具有自適應學習率的算法族表現得相當魯邦，不分伯仲。目前，最流行且使用很高的優化算包括

>>阅读原文<<