004-3-Optimizer優化器

  如何選擇優化算法 如果數據是稀疏的，就用自適用方法，即 Adagrad, Adadelta, RMSprop, Adam。 RMSprop, Adadelta, Adam 在很多情況下的效果是相似的。 Adam 就是在 RMSprop 的基礎上加了 bias-correction 和 momentum， 隨着梯度變的稀疏，Adam 比 RMSprop 效果會好。 整體來講，Adam 是最好的選

>>阅读原文<<