動量梯度下降（momentum）

簡介 動量梯度下降法是對梯度下降法的改良版本，通常來說優化效果好於梯度下降法。對梯度下降法不熟悉的可以參考梯度下降法，理解梯度下降法是理解動量梯度下降法的前提，除此之外要搞懂動量梯度下降法需要知道原始方法在實際應用中的不足之處，動量梯度下降法怎樣改善了原來方法的不足以及其具體的實現算法。依次從以下幾個方面進行說明： 小批量梯度下降法(mini-batch gradient descent) 指數加

>>阅读原文<<