深度學習調參 tricks 總結！

尋找合適的學習率(learning rate) 學習率是一個非常非常重要的超參數，這個參數呢，面對不同規模、不同batch-size、不同優化方式、不同數據集，其最合適的值都是不確定的，我們無法光憑經驗來準確地確定lr的值，我們唯一可以做的，就是在訓練中不斷尋找最合適當前狀態的學習率。 比如下圖利用fastai中的lr_find()函數尋找合適的學習率，根據下方的學習率-損失曲線得到此時合適的學習

>>阅读原文<<