基於Pytorch實現深度學習優化算法(Adagrad/RmsProp/Momentum/Adam)

如下介紹深度學習的主要幾種參數更新的優化方法 1.Adagrad 經過引入二階動量 v t = ∑ i = 0 t ( g i 2 ) v_t=\sqrt{\sum\limits_{i=0}^t(g_i^2)} vt​=i=0∑t​(gi2​) ​使得學習率 η v t \frac{\eta} {v_t} vt​η​的更新能夠自適應的記性，對於出現頻率較低( v t 較 小 v_t較小 vt​較小

>>阅读原文<<