Batch_size爲啥被須要以及設置多少合適？

問題引入

咱們在訓練網絡的時候基本都會設置一個叫Batch_size的參數，這個參數爲啥須要以及設置多少合適？

問題解答

Batch的選擇，首先決定的是降低的方向。

若是數據集比較小，可採用全數據集的形式，好處是：

1. 由全數據集肯定的方向可以更好地表明樣本整體，從而更準確地朝向極值所在的方向。
2. 因爲不一樣權重的梯度值差異巨大，所以選取一個全局的學習率很困難。Full Batch Learning 可使用 Rprop 只基於梯度符號而且針對性單獨更新各權值。

對於更大的數據集，假如採用全數據集的形式，壞處是：

1. 隨着數據集的海量增加和內存限制，一次性載入全部的數據進來變得愈來愈不可行。
2. 以 Rprop 的方式迭代，會因爲各個 Batch 之間的採樣差別性，各次梯度修正值相互抵消，沒法修正。這纔有了後來 RMSProp 的妥協方案。

假如每次只訓練一個樣本，即 Batch_Size = 1。線性神經元在均方偏差代價函數的錯誤面是一個拋物面，橫截面是橢圓。對於多層神經元、非線性網絡，在局部依然近似是拋物面。此時，每次修正方向以各自樣本的梯度方向修正，橫衝直撞各自爲政，難以達到收斂。

既然 Batch_Size 爲全數據集或者Batch_Size = 1都有各自缺點，可不能夠選擇一個適中的Batch_Size值呢？

此時，可採用批梯度降低法（Mini-batches Learning）。由於若是數據集足夠充分，那麼用一半（甚至少得多）的數據訓練算出來的梯度與用所有數據訓練出來的梯度是幾乎同樣的。

  參考：

[1] https://blog.csdn.net/qq_34886403/article/details/82558399

喜歡就關注一下啦~~~