RMSprop梯度下降法

RMSprop梯度下降法 有點類似動量梯度下降法，其過程爲： 我們在神經網絡中，算出了 d w , d b dw,db dw,db，然後令： S d w : = β S d w + ( 1 − β ) d w 2 S d b : = β S d b + ( 1 − β ) d b 2    w : = w − α ⋅ d w S d w + 1 0 − 8 b : = b − α ⋅ d b S

>>阅读原文<<