深度學習優化器 Adam 解析

源鏈接  https://segmentfault.com/a/1190000012668819 Adam的優點 現在很多深度網絡都優先推薦使用Adam做優化算法，我也一直使用，但是對它的參數一知半解，對它的特性也只是略有耳聞，今天我終於花時間看了一下論文和網上的資料。整理如下。 Adam是從2個算法脫胎而來的：AdaGrad和RMSProp，它集合了2個算法的主要優點，同時也做了自己的一些創新，

>>阅读原文<<