2.2.6 學習率衰減

學習率衰減 加快神經網絡的另一個辦法就是隨着時間推移慢慢減少學習率。我們將這個稱之爲學習率衰減。 如圖中藍色線所示，當mini-batch不大的時候，噪聲會比較明顯。最後不會精確地收斂，而是在最小值附近不斷地波動。但是如果我們不斷減少學習率，最後情況就如同圖中綠線所示，最後會在最小值附近很小的一塊區域不斷波動，而不會在比較大的區域裏。 減小學習率的方法如下： 我們需要在第一代的時候遍歷一遍數據，第

>>阅读原文<<