RMSprop

RMSprop 翻譯成中文是「均方根傳遞」，它也能加速算法學習的速度。 仍然使用上篇文章中的圖： 在此，我們假設 W 爲水平方向的參數，b 爲豎直方向的參數。從上圖可以看出，更新 W 時的步伐過小，而更新 b 的步伐過大，這是 dW 過小和 db 過大造成的，如果我們可以增大 dW 和減小 db，就可以使上圖藍線更快地向右行進，而減少上下振動。下面就來實現這個目的。 回憶一下，在動量梯度下降算法中

>>阅读原文<<