2017年深度學習優化算法最新綜述

梯度下降算法是機器學習中使用非常廣泛的優化算法，也是衆多機器學習算法中最常用的優化方法。幾乎當前每一個先進的（state-of-the-art）機器學習庫或者深度學習庫都會包括梯度下降算法的不同變種實現。 但是，它們就像一個黑盒優化器，很難得到它們優缺點的實際解釋。 An overview of gradient descent optimization algorithms 這篇文章旨在提供梯度

>>阅读原文<<