02.改善深層神經網絡：超參數調試、正則化以及優化 —— week2 優化算法

1. mini-batch 梯度下降算法 在對整個訓練集執行梯度下降法時，每進行一步梯度下降法都必須處理整個訓練集。訓練集很大的時候，如有500萬或5000萬訓練數據時，處理速度就會比較慢。 如果每次處理訓練數據的一部分，即用其子集進行梯度下降，則我們的算法速度會執行的更快。而處理的這些一小部分訓練子集即稱爲Mini-batch。 1.1 算法原理： 對於普通的梯度下降法，一個epoch只能進行一

>>阅读原文<<