梯度下降如何設置學習率

在梯度下降中，學習率太小可能造成收斂過慢，學習率太大可能造成結果在收斂值兩邊震盪，如圖，紅色箭頭是學習率太小，綠色箭頭是學習率太大： 將在不同學習率下，loss值隨訓練代數的變化可視化如下： 那麼，如何設置學習率learning rate: idea 1： 使learning rate隨訓練次數增大而減小。因爲初始時，我們離目標較遠，隨訓練次數增大，離目標越來越近，就可以使步長減小。 例如：η表示

>>阅读原文<<