滑動平均模型

指數衰減學習率使訓練迭代更加有效：       學習率決定了每一次迭代訓練過程優化神經網絡數的幅度，學習率的正確選取對於訓練的效率、和效果均有一定的影響，如果我們學習率設定過大，則會可能導致參數在極值兩側跳動，這樣的迭代訓練顯然不是我們希望的。假設我們學習率設定過小，則我們可能在我們所能提供的訓練次數內無法尋找到極優值，即是我們需要更多的迭代訓練才能達到更好的優化效果。我們想想，如果使學習率處於一

>>阅读原文<<