pytorch 如何選擇合適的學習率（翻譯）

1.思想 好的學習率，那麼loss應該要下降的很快，那麼可以繪製處學習率和loss的函數。 例如： 此時，該如何選學習率呢？選10^-2可以使訓練的比較快，並且不會使梯度爆炸， 10^-1可能已經太大了。 2.算法 假設初始lr爲10^-8,最大爲10，共測試N step，那麼我們可以記錄每經過一個step的lr和loss，其中，每次lr增加q： loss，把它平滑一下： 實現代碼如下： #Com

>>阅读原文<<