李宏毅機器學習2020筆記（四）梯度下降 Adagrad 特徵縮放（Feature scaling）

一、Learning rate 1.Learning rate中的問題 如果learning rate剛剛好，就可以像下圖中紅色線段一樣順利地到達到loss的最小值 如果learning rate太小的話，像下圖中的藍色線段，雖然最後能夠走到local minimal的地方，但是它可能會走得非常慢，以至於你無法接受 如果learning rate太大，像下圖中的綠色線段，它的步伐太大了，它永遠沒有

>>阅读原文<<