參數更新方法

代碼實現 https://github.com/hsmyy/zhihuzhuanlan/blob/master/momentum.ipynb 1、梯度下降法 加大梯度下降的步長 繼續加大步長 2、動量更新 Momentum改進自SGD算法，讓每一次的參數更新方向不僅僅取決於當前位置的梯度，還受到上一次參數更新方向的影響。 v = mu * v - learning_rate * dx # inte

>>阅读原文<<