簡單認識Adam優化器

簡單認識Adam優化器   基於隨機梯度下降（SGD）的優化算法在科研和工程的很多領域裏都是極其核心的。很多理論或工程問題都可以轉化爲對目標函數進行最小化的數學問題。 按吳恩達老師所說的，梯度下降（Gradient Descent）就好比一個人想從高山上奔跑到山谷最低點，用最快的方式（steepest）奔向最低的位置（minimum）。 SGD基本公式 動量(Momentum) 參考鏈接：http

>>阅读原文<<