BatchSize 的選擇

全批次（藍色） 如果數據集比較小我們就採用全數據集。全數據集確定的方向能夠更好地代表樣本總體，從而更準確地朝向極值所在的方向。 注：對於大的數據集我們不能使用全批次，因爲會得到更差的結果。 迷你批次（綠色） 選擇一個適中的Batch_Size 值。就是說我們選定一個batch的大小後，將會以batch的大小將數據輸入深度學習的網絡中，然後計算這個batch的所有樣本的平均損失，即代價函數是所有樣本

>>阅读原文<<