【轉+整理】SDG，動量，Adam優化算法

參考博客：深度學習最常用的算法，一文看懂各種神經網絡優化算法：從梯度下降到Adam方法   SDG 1、定義：         隨機梯度下降（Stochastic gradient descent，SGD）對每個訓練樣本進行參數更新，每次執行都進行一次更新，且執行速度更快。 2、公式：         θ=θ−η⋅∇(θ) × J(θ;x(i);y(i))，其中 η 是學習率，x(i) 和 y(i

>>阅读原文<<