梯度下降優化算法綜述

梯度下降優化算法綜述    該文翻譯自An overview of gradient descent optimization algorithms。                            各優化方法比較    下面兩幅圖可視化形象地比較上述各優化方法，詳細參見這裏，如圖：    圖5 SGD各優化方法在損失曲面上的表現 從上圖可以看出， Adagrad、Adadelta與RMSp

>>阅读原文<<