深度學習——整理

1、什麼是隨機梯度下降？ 梯度下降有三種：stochastic  gradient descent（SGD）、普通的GD以及min-batch GD。 其中caffe裏最常用的就是min-batch GD，即每次從訓練樣本中選取min-batch個樣本進行迭代，而普通的GD則是對所有的訓練樣本計算梯度，而SGD是對訓練樣本中的某一個樣本計算梯度，更新權值。 其實這三種梯度下降的本質是一樣的，都是使

>>阅读原文<<