Adam又要「退休」了？耶魯大學團隊提出AdaBelief，NeurIPS 2020收錄，卻引來網友質疑...

曉查 發自 凹非寺  量子位 報道 | 公衆號 QbitAI 要挑戰Adam地位的優化器又多了一個。 近日NeurIPS 2020收錄論文提出的一個優化器，在深度學習社區成爲焦點，引起廣泛討論。 這就是由耶魯大學團隊提出的AdaBelief。團隊在論文中表示，該優化器兼具Adam的快速收斂特性和SGD的良好泛化性。 所謂AdaBelief，是指根據梯度方向上的「信念」（Belief）來調整訓練的步

>>阅读原文<<