adam相關的優化器

原文來自：https://zhuanlan.zhihu.com/p/52084949 選自medium，作者：Phúc Lê，機器之心編譯，參與：高璇、王淑婷。 Adam 自出道以來，就一直是最流行的深度學習優化器，哪怕現在其實已經有幾種可能更好用的優化器…… 如果將 Adam 優化出現以來產生的關於優化過程的有趣想法按時間順序排列的話，結果如下： LR Range test + Cyclical

>>阅读原文<<