2.2.5 Adam優化算法

Adam優化算法 Adam算法的全稱是Adaptive Moment Estimation Adam算法基本上是momentum算法和RMSprop算法的結合。我們下面介紹一下這個算法 算法如圖所示，注意圖中 Vcorrecteddw V d w c o r r e c t e d 表示的是偏差修正。 這個算法中有許多的超參數，那麼該如何選擇超參數呢？ 如圖所示，學習率是我們需要調整的參數。 β1

>>阅读原文<<