Adam優化器算法

  上圖就是Adam算法在深度學習中更新參數時應用的詳細過程，下面對一些參數進行一下說明： 1、t：更新的步數（steps） 2、：學習率，用於控制參數更新的步幅（stepsize） 3、：要求解更新的參數 4、:帶有參數的目標函數，通常指損失函數 5、g：目標函數對求導的梯度 6、：一階矩衰減係數 7、：二階矩衰減係數 8、s：梯度g的一階矩，即梯度g的期望 9、r：梯度g的二階矩，即梯度的期望

>>阅读原文<<