Adam優化器雜談

文章來自：微信公衆號【機器學習煉丹術】web 最經常使用的Adam優化器，有着收斂速度快、調參容易等優勢，可是也存在常常被人吐槽的泛化性問題和收斂問題。算法 所以，在不少大佬的代碼中，依然會使用傳統的SGD+momentum的優化器。微信 關於兩個優化器的比較，仁者見仁智者見智，能夠看一下這篇文章，有簡單的關於這兩個優化器的代碼實現和效果比較： Pytorch的SGD,SGDM,Adam,RAda

>>阅读原文<<