梯度下降優化器Optimization

前言 梯度下降算法是機器學習中使用非常廣泛的優化算法，梯度可以理解成山坡上某一點上升最快的方向，它的反方向就是下降最快的方向。要想下山最快，那麼就要沿着梯度的反方向走，最終到達山底（全局最優點）。梯度下降優化器就是爲了找到最快的下山策略。目前最常用的優化器有SGD、SGD+momentum、NAG、adagrad，Adam等。 1、SGD 隨機梯度下降算法通常還有三種不同的應用方式，它們分別是SG

>>阅读原文<<