Deep learning II - II Optimization algorithms - learning rate decay 學習速率衰減

learning rate decay 學習速率衰減 對於mini-batch gradient descent，其梯度下降可能會圍繞最優點附近徘徊，但是由於learning rate不變，可能不會進一步靠近最優點（藍色路徑） 如果learning rate會隨着學習的深入不斷衰減，那麼上述情況會得到改善，最終的結果和更加靠近最優點（綠色路徑） 方法 一 1 epoch=1 pass throug

>>阅读原文<<