RMSProp優化算法

RMSProp優化算法 參考:【優化算法】一文搞懂RMSProp優化算法 而本文要介紹的RMSProp優化算法是AdaGrad算法的一種改進。 首先給出AdaGrad算法: 再拋出原始的RMSProp算法: 可以看出RMSProp優化算法和AdaGrad算法唯一的不同,就在於累積平方梯度的求法不同。RMSProp算法不是像AdaGrad算法那樣暴力直接的累加平方梯度,而是加了一個衰減係數來控制歷史
相關文章
相關標籤/搜索