深度學習總結(三)——學習率設置

1. 學習率對訓練的影響 爲了能夠使得梯度下降法有較好的性能，我們需要把學習率的值設定在合適的範圍內。太大的學習速率導致學習的不穩定，太小值又導致極長的訓練時間。自適應學習速率通過保證穩定訓練的前提下，達到了合理的高速率，可以減少訓練時間。 2. 學習率的設置 固定學習率的設置： 經驗選擇：一般情況下傾向於選取較小的學習速率以保證系統的穩定性，學習速率的選取範圍在0.01~0.8之間。 對於不同大

>>阅读原文<<