梯度降低優化方法總結

原文地址 參考並翻譯自Sebastian Ruder博士的總結文章An overview of gradient descent optimization algorithms。html 梯度降低方法是目前最流行的神經網絡優化方法，如今主流的深度學習框架(caffe,keras,MXNET等)都包含了若干種梯度降低算法。雖然咱們能夠把它們當作黑盒直接使用，可是在不一樣場合下相同的算法可能有着很大的

>>阅读原文<<