RMSprop（吳恩達深度學習算法視頻）

全稱是root mean sqare prop算法。 假設縱軸代表參數b，橫軸代表參數w，因此我們需要減緩縱軸的波動，同時加速橫軸方向的學習。 在第t次迭代過程中，mini-batch的微分dw、db會正常計算， S_dw = β * S_dw + (1- β)(dw)2 S_db = β * S_db + (1- β)(db)2 更新參數： w = w - α * (dw/sqr(S_dw))

>>阅读原文<<