吳恩達《深度學習-改善深層神經網絡》2--優化算法

1. Mini-batch gradient descent 1）是什麼？ 在Batch gradient descent時，每次迭代都要遍歷整個訓練集，當訓練集數目過大時，會導致學習速度很慢。 如果訓練集巨大，將訓練集分爲t個子集，即mini-batch（如1000個樣本），用每一個子集對神經網絡進行訓練，這樣一個訓練集就可以對神經網絡訓練t次，加上對神經網絡迭代的次數s，所以總的訓練次數爲s*

>>阅读原文<<