滑動平均模型

Maintains moving averages of variables by employing an exponential decay.這是官方的文檔解釋。 要想理解上面這句話就要知道什麼是moving average和exponential decay。下面分別解釋一下這兩個概念。 exponential decay 在有時學習率的設置時，我們會把學習率設計爲指數衰減的，就是讓學習率滿

>>阅读原文<<