深度學習——不同梯度下降法的特點比較

1、標準梯度下降法（GD） （1）每個樣本都計算一次 （2）訓練速度慢 （3）容易陷入局部最優解     2、批量梯度下降法（BGD]-每批樣本計算一次 （1）訓練速度較快 （2）選擇平均梯度最小的方向 3、隨機梯度下降法（SGD）-每批樣本計算一次 （1）訓練速度快（不需要計算每個樣本的梯度或平均梯度） （2）從批樣本隨機選擇一個方向下降（某次有可能不正確，最終會正確） （3）注意： 隨機下降的

>>阅读原文<<