梯度下降優化方法總結

隨機梯度下降stochastic gradient descent algorithm（SGD）： 包括GD(batchsize=all)，SGD(batchsize=1)，mini-batch SGD(batchsize=mini-batch) 其中GD訓練過程中可以不調整學習率，保持學習率不變訓練到收斂 SGD，mini-batch SGD訓練過程中必須保證不斷減少學習率 當訓練數據較大，GD

>>阅读原文<<