梯度下降法 學習速率

  在梯度下降法中，批量指的是用於在單次迭代中計算梯度的樣本總數。到目前爲止，我們一直假定批量是指整個數據集。就 Google 的規模而言，數據集通常包含數十億甚至數千億個樣本。此外，Google 數據集通常包含海量特徵。因此，一個批量可能相當巨大。如果是超大批量，則單次迭代就可能要花費很長時間進行計算。 包含隨機抽樣樣本的大型數據集可能包含冗餘數據。實際上，批量大小越大，出現冗餘的可能性就越高。

>>阅读原文<<