優化算法-4：學習率衰減

本文來自於網易雲課堂 學習率衰減 加快學習的一個辦法就是隨時間慢慢減少學習率，我們稱之爲學習率衰減。慢慢減少學習率的原因在於，在訓練的初期，你可以承受較大的步伐，但是開始收斂的時候，小的學習率能讓你的步伐變小一些。 如何減少學習率呢？ 我們稱一次迭代爲1poch，那麼讓 α=11+decay−rate∗epoch−num∗α0 α = 1 1 + d e c a y − r a t e ∗ e p

>>阅读原文<<