Adam優化器雜談

文章來自：微信公衆號【機器學習煉丹術】 最常用的Adam優化器，有着收斂速度快、調參容易等優點，但是也存在經常被人吐槽的泛化性問題和收斂問題。 因此，在很多大佬的代碼中，依然會使用傳統的SGD+momentum的優化器。 關於兩個優化器的比較，仁者見仁智者見智，可以看一下這篇文章，有簡單的關於這兩個優化器的代碼實現和效果比較： Pytorch的SGD,SGDM,Adam,RAdam的代碼實現 這篇

>>阅读原文<<