學習率優化方式

學習率優化 優化方法 學習率衰減 自適應學習率調整（學習率優化） Momentum 動量法 Nesterov牛頓動量法(根據累計梯度計算提前點) Adagrad（累計梯度反比） RMSprop（滑動窗口） AdaDelta(自適應學習率) Adam算法 優化方法 學習率衰減 等間隔調整學習率 StepLR 多間隔調整學習率 MultiStepLR 指數衰減調整學習率 ExponentialLR 餘

>>阅读原文<<