機器學習中Batch Size、Iteration和Epoch的概念

Batch Size：批尺寸。機器學習中參數更新的方法有三種：

（1）Batch Gradient Descent，批梯度降低，遍歷所有數據集計算一次損失函數，進行一次參數更新，這樣獲得的方向可以更加準確的指向極值的方向，可是計算開銷大，速度慢；

（2）Stochastic Gradient Descent，隨機梯度降低，對每個樣本計算一次損失函數，進行一次參數更新，優勢是速度快，缺點是方向波動大，忽東忽西，不能準確的指向極值的方向，有時甚至兩次更新相互抵消；

（3）Mini-batch Gradient Decent，小批梯度降低，前面兩種方法的折中，把樣本數據分爲若干批，分批來計算損失函數和更新參數，這樣方向比較穩定，計算開銷也相對較小。Batch Size就是每一批的樣本數量。

Iteration：迭代，能夠理解爲w和b的一次更新，就是一次Iteration。

Epoch：樣本中的全部樣本數據被計算一次就叫作一個Epoch。