最優化方法系列：Adam+SGD-AMSGrad

        自動調參的Adam方法已經非常給力了，不過這主要流行於工程界，在大多數科學實驗室中，模型調參依然使用了傳統的SGD方法，在SGD基礎上增加各類學習率的主動控制，以達到對複雜模型的精細調參，以達到刷出最高的分數。          ICLR會議的 On the convergence of Adam and Beyond 論文，對Adam算法進行了 猛烈的抨擊，並提出了新的Adam算

>>阅读原文<<