Optimization和adptive learning rate的介紹（李宏毅ML課程筆記）

Adptive Learning Rates 能夠在update參數的同時，根據已知的信息更新learning rate，使得learning rate大小隨着迭代次數的增加適應cost曲線的變化。 對adptive learning rate的要求： 能夠在接近optimal的附近時，讓desent的步伐越來越小，由此達到最優值 能夠對不同的參數給出不一樣的learning rate 能夠降低s

>>阅读原文<<