Adam優化器簡單理解和實現

前言：因爲要實現GAN，簡單理解一下訓練過程需要用到的Adam優化器。 一、簡單認識 Adam（自適應矩估計 Adaptive moment estimation） 翻譯： 參數設定： (元素乘操作)， ：步長或稱學習率（stepsize）；：矩估計的指數衰減率；：參數的隨機目標函數值；：初始參數向量； ：初始第一矩向量；：第二矩向量；：時間步長； 優化過程（更新參數向量過程）： while  未

>>阅读原文<<