在訓練的過程中降低學習率

隨着學習的進行，深度學習的學習速率逐步下降  爲什麼比  固定的學習速率 得到的結果更加準確？ 如上圖所示，曲線代表損失值，小球一開始位於(1)處，假設學習速率設置爲 △ v，那麼根據梯度下降，損失值將在(1)  (2)之間來回移動，無法到達最小值(3)處。要想到達(3)，只能降低學習速率。 keras中實現方法： learning_rate_reduction = ReduceLROnPlate

>>阅读原文<<