實驗不同的學習速率

轉於：https://blog.csdn.net/lqfarmer/article/details/77689148 實驗不同的學習速率 學習速率是控制更新步長大小的超參數。隨着學習速率的增加，振盪次數也在增加。如圖2所示，隨着學習速率的增加，存在很多混亂或隨機噪聲。圖2中的所有曲線都是針對MNIST數據集訓練，採用單層神經網絡。 我們可以從圖中推斷，高學習速率更有可能使整個模型爆炸，導致數值更新

>>阅读原文<<