learning rate對深度模型的影響：論文閱讀Cyclical Learning Rates for Training Neural Networks

Abstract 提出了一個CLR方法，讓learning rate在一個合理邊界內變化(可大可小)，變化的learning rate比固定的學習率，有助於提升分類精度，並且不需要調參，還能減少迭代次數。 改論文提供了一種簡單方式，去估計learning rate的合理便捷邊界。 introduction θt = θt−1 − εt ∂L  太小的學習率會是的訓練收斂很慢，太大的學習率會使得訓練

>>阅读原文<<