深度學習與神經網絡-吳恩達-第二週優化算法

一、Mini-batch梯度下降法 前面介紹的向量化方法能夠讓我們高效的處理m個樣本數據，模型輸入的也就是m個樣本按列堆疊而成的矩陣X，同樣地，輸入數據的標籤也是m個樣本標籤按列堆疊而成的矩陣Y。但是以海量訓練樣本（m很大，幾百萬甚至幾千萬的數據量）作爲輸入的話，這樣做的計算成本依然會很高。因爲只有處理完所有的訓練樣本才能進行一次梯度下降法，然後還需要重新處理所有的訓練數據才能進行下一步梯度下降法

>>阅读原文<<