【Deep Learning 】深度模型中的優化問題(六)之RMSprop(自適應算法2)

本文是Deep Learning 之 最優化方法系列文章的RMSprop方法。主要參考Deep Learning 一書。 以下節選自個人深度學習筆記。 內容整合來源於網絡與個人理解。   RMSprop 口RMSprop是一種改進的Adagrad,通過引入一個衰減係數ρ,讓r每回合都衰減一定比例。 口 這種方法很好的解決了Adagrad過早結束的問題,適合處理非平穩目標,對於RNN效果很好。(注意
相關文章
相關標籤/搜索