網易雲深度學習第二課NoteBook2

優化算法 1.Mini-batch梯度下降法 對整個訓練集進行梯度下降法的時候，我們必須處理整個訓練數據集，然後才能進行一步梯度下降，即每一步梯度下降需要對整個訓練集進行一次處理，如果訓練數據很大時，處理速度就會非常慢。 但是如果每次處理訓練數據的一部分進行梯度下降法，則算法的執行速度會變快。而處理的這一小部分訓練子集即爲Mini-batch. 對於普通的梯度下降法，一個epoch只能進行一次梯度

>>阅读原文<<