2.9 學習率衰減-深度學習第二課《改善深層神經網絡》-Stanford吳恩達教授

學習率衰減 (Learning Rate Decay) 加快學習算法的一個辦法就是隨時間慢慢減少學習率，我們將之稱爲學習率衰減，我們來看看如何做到，首先通過一個例子看看，爲什麼要計算學習率衰減。 假設你要使用mini-batch梯度下降法，mini-batch數量不大，大概64或者128個樣本，在迭代過程中會有噪音（藍色線），下降朝向這裏的最小值，但是不會精確地收斂，所以你的算法最後在附近擺動，並

>>阅读原文<<