梯度降低優化器Optimization

前言html 梯度降低算法是機器學習中使用很是普遍的優化算法，梯度能夠理解成山坡上某一點上升最快的方向，它的反方向就是降低最快的方向。要想下山最快，那麼就要沿着梯度的反方向走，最終到達山底（全局最優勢）。梯度降低優化器就是爲了找到最快的下山策略。目前最經常使用的優化器有SGD、SGD+momentum、NAG、adagrad，Adam等。算法 一、SGD機器學習 隨機梯度降低算法一般還有三種不一樣

>>阅读原文<<