ICLR 2018最佳論文重磅出爐！Adam新算法、球形CNN等受關注

關於Adam算法收斂性及其改進方法的討論 最近提出的一些隨機優化方法已經成功地應用到了神經網絡訓練任務中，如RMSPROP、ADAM、ADADELTA、NADAM等。這些方法都是基於梯度更新的算法，在更新的過程中，利用了歷史梯度平方的指數移動平均值的開方進行縮放。而根據觀察，在許多的應用中，如輸出空間比較寬泛的情況，這些算法無法收斂到最優解，或是在非凸問題中的臨界點。文中證明了收斂失敗的原因是，算

>>阅读原文<<