Part 2 （二）優化算法

改善深層神經網絡：超參數調試、正則化以及優化 —優化算法 1. Mini-batch 梯度下降法 對整個訓練集進行梯度下降法的時候，我們必須處理整個訓練數據集，然後才能進行一步梯度下降，即每一步梯度下降法需要對整個訓練集進行一次處理，如果訓練數據集很大的時候，如有500萬或5000萬的訓練數據，處理速度就會比較慢。 但是如果每次處理訓練數據的一部分即進行梯度下降法，則我們的算法速度會執行的更快。而

>>阅读原文<<