尋找最優學習率

這個方法在論文中是用來估計網絡允許的最小學習率和最大學習率，我們也可以用來找我們的最優初始學習率，方法非常簡單。首先我們設置一個非常小的初始學習率，比如1e-5，然後在每個batch之後都更新網絡，同時增加學習率，統計每個batch計算出的loss。最後我們可以描繪出學習的變化曲線和loss的變化曲線，從中就能夠發現最好的學習率。 下面就是隨着迭代次數的增加，學習率不斷增加的曲線，以及不同的學習率

>>阅读原文<<