不同學習率下損失函數的收斂情況

如下圖是不同學習率下損失函數的收斂情況 從圖中我們可以看出在訓練數據的不同時期，學習率對損失函數的影響是不同的，因此如果我們想提高我們的訓練效果可以在訓練的前期設置一個較大的學習率，然後在某一個時期降低學習率。比如我們在第n次迭代時，降低我們的學習率，然後繼續訓練。

>>阅读原文<<