確定學習率的簡單方法

一個簡單的辦法 Leslie N. Smith 在2015年的一篇論文「Cyclical Learning Rates for Training Neural Networks」中的3.3節描述了一個非常棒的方法來找初始學習率，同時推薦大家去看看這篇論文，有一些非常啓發性的學習率設置想法。 這個方法在論文中是用來估計網絡允許的最小學習率和最大學習率，我們也可以用來找我們的最優初始學習率，方法非常簡

>>阅读原文<<