動量梯度下降法: Gradient Descent With Momentum

動量梯度下降法:  Gradient  Descent With  Momentum 1.指數加權移動平均:   2.指數加權平均的偏差修正: 如圖所示:紫色圖爲這些點集的加權平均,但很顯然在剛開始的時候,加權平均不能很好估測數據。所以我們需要通過偏差修正加權平均。 3.動量梯度下降法:    當我們使用梯度下降算法進行訓練的時候,我們的訓練過程會出現左圖所示, 慢慢擺動到最小值,這種上下波動減慢
相關文章
相關標籤/搜索