深度學習優化方法

一   三種梯度下降法 訓練神經網絡模型時，最常用的就是梯度下降，這裏總結三種梯度下降法的概念及優缺點。有不當之處望指正。 參考博客：幾種梯度下降方法對比（Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent）   概念 優 缺 batch gradient descent 一次迭代訓練所有

>>阅读原文<<