Deep learning II - II Optimization algorithms - RMSprop (Root Mean Square prop)均方根傳遞

RMSprop 相較於gradient descent with momentum，RMSprop的思想是，對於梯度震動較大的項，在下降時，減小其下降速度；對於震動幅度小的項，在下降時，加速其下降速度。 通過使用指數加權平均計算得到 Sdw, Sdb S d w ,   S d b ；使用他們來更新參數（如下圖所示） Sdw=βSdw+(1−β)dw2 S d w = β S d w + ( 1

>>阅读原文<<