李宏毅機器學習——學習筆記（一）

Gradient Descent 學習率會出現以下四種不同的情況： 學習率太小，即圖中藍色的線，每次跨越的步長很小很小，梯度每次變化的值也小，模型要達到local minima，就必須需要更多的訓練時間； 學習率太大，即圖中綠色的線，每次跨越的步長會很大，很可能形成在山谷之間震盪的現象； 學習率特別大，即圖中黃色的線，就很可能會直接跳出local minima，loss會越來越大； 學習率剛好合適

>>阅读原文<<