Batch_size的選擇

首先，爲什麼需要有 Batch_Size 這個參數？ Batch 的選擇，首先決定的是下降的方向。如果數據集比較小，完全可以採用全數據集 （ Full Batch Learning ）的形式，這樣做至少有 2 個好處：其一，由全數據集確定的方向能夠更好地代表樣本總體，從而更準確地朝向極值所在的方向。其二，由於不同權重的梯度值差別巨大，因此選取一個全局的學習率很困難。 Full Batch Lear

>>阅读原文<<