老衛帶你學---RMSProp與Adam

RMSProp算法 RMSProp算法全稱root mean square prop算法。 從前面的例子可以知道，當我們利用梯度下降法的時候，雖然橫軸也在前進，但縱軸擺動太大。假設縱軸是b橫軸是w，假如我們想減弱b的幅度，加快或者不減少w的前進，RMSProp算法就可以起到這個作用。 其執行過程是這樣的： 那麼該算法是怎麼起作用的呢？對於b方向，我們想減少b的擺動。所以對於sdwsdw除數就會較大

>>阅读原文<<