吳恩達深度學習——優化算法

1、mini-batch梯度下降法： mini-batch size=m，就是我們平常用的梯度下降，即batch梯度下降 mini-batch size=1，則爲隨機梯度下降：每次迭代，只對一個樣本進行梯度下降，大部分時間你向着全局最小值靠近，但有時候會遠離最小值，因爲那個樣本恰好指的方向不對，因此隨機下降是又很多噪聲的。平均看來，它最終會靠近最小值，因爲隨機下降法永遠不會收斂，而是會在最小值附近

>>阅读原文<<