幾種學習率衰減策略

學習率調整 學習率是神經網絡優化時的重要超參數。在梯度下降方法中，學習率α的取值非常關鍵，如果過大就不會收斂，如果過小則收斂速度太慢。常用的學習率調整方法包括學習率衰減率、學習率預熱、週期學習率以及一些自適應地調整學習率的方法，比如AdaGrad、RMSprop、AdaDelta等。自適應學習率方法可以針對每個參數設置不同的學習率。 週期性學習率調整 爲了使得梯度下降方法能夠逃離局部最小值或鞍點，

>>阅读原文<<