優化算法-momentum(動量法)

關於梯度下降的三個算法：梯度下降，隨機梯度下降，以及小批量皮杜下降已經在該篇博文中介紹：https://blog.csdn.net/weixin_42109859/article/details/104822335 但對梯度下降使用同一固定不變的超參數會引發一些問題。 例如當我們的目標函數爲 f ( x ) = 0.1 x 1 2 + 2 x 2 2 f(\boldsymbol{x})=0.1x_

>>阅读原文<<