7.2 常用的優化器

      一、學習率 二、momentum 動量 三、torch.optim.SGD 四、pytorch的十種優化器       一、學習率 學習率，又叫步長，用來控制更新的步伐。 不能太大也不能太小。       二、momentum 動量 動量的思想：當前的更新信息不僅有當前的梯度，還會考慮上一次更新的信息。 在分析具體怎麼更新之前，先學習一下：指數加權平均。     比如V100是前100

>>阅读原文<<