【深度學習】各種梯度下降優化方法總結

斯坦福CS231 Lecture7 梯度下降優化算法綜述 一文看懂各種神經網絡優化算法：從梯度下降到Adam方法 梯度下降法是最小化目標函數J(θ)J(θ)的一種方法，其中，θ∈Rdθ∈Rd爲模型參數，梯度下降法利用目標函數關於參數的梯度∇θJ(θ)∇θJ(θ)的反方向更新參數。學習率ηη決定達到最小值或者局部最小值過程中所採用的步長的大小。即，我們沿着目標函數的斜面下降的方向，直到到達谷底。 B

>>阅读原文<<