【深度乾貨】2017年深度學習優化算法研究亮點最新綜述（附slide下載）

梯度下降算法是機器學習中使用非常廣泛的優化算法，也是衆多機器學習算法中最常用的優化方法。幾乎當前每一個先進的（state-of-the-art）機器學習庫或者深度學習庫都會包括梯度下降算法的不同變種實現。但是，它們就像一個黑盒優化器，很難得到它們優缺點的實際解釋。Sebastian Ruder曾在去年發表博文 《梯度下降優化算法綜述》（An overview of gradient descent

>>阅读原文<<