深度學習筆記（二）：2優化算法（一）Mini-batch和指數加權平均數

Mini-batch Mini-batch是一個一次訓練數據集的一小部分，而不是整個訓練集的技術。它可以使內存較小、不能同時訓練整個數據集的電腦也可以訓練模型。 Mini-batching 從運算角度來說是低效的，因爲你不能在所有樣本中計算 loss。但是這點小代價也比根本不能運行模型要划算。它跟隨機梯度下降（SGD）結合在一起用也很有幫助。 方法是在每一代訓練之前，對數據進行隨機混洗，然後創建

>>阅读原文<<