深刻了解機器學習之下降損失 (Reducing Loss)：隨機梯度降低法

在梯度降低法中，批量指的是用於在單次迭代中計算梯度的樣本總數。到目前爲止，咱們一直假定批量是指整個數據集。就 Google 的規模而言，數據集一般包含數十億甚至數千億個樣本。此外，Google 數據集一般包含海量特徵。所以，一個批量可能至關巨大。若是是超大批量，則單次迭代就可能要花費很長時間進行計算。web 包含隨機抽樣樣本的大型數據集可能包含冗餘數據。實際上，批量大小越大，出現冗餘的可能性就越高

>>阅读原文<<