深度學習中的batch(batch size,full batch,mini batch, online learning)、iterations與epoch

概念引入        我們已知在梯度下降中需要對所有樣本進行處理過後然後走一步,那麼如果我們的樣本規模的特別大的話效率就會比較低。假如有500萬,甚至5000萬個樣本(在我們的業務場景中,一般有幾千萬行,有些大數據有10億行)的話走一輪迭代就會非常的耗時。這個時候的梯度下降使用了全部的樣本數據,所以叫做full batch。 爲了提高效率,我們可以把樣本分成等量的子集。 例如我們把500萬樣本分
相關文章
相關標籤/搜索