batch_size,iterations,epochs等概念的理解

1.batch_size 深度學習的優化算法，用大白話來說其實主要就是梯度下降算法，而每次的參數權重更新主要有兩種方法。 （1）遍歷全部數據集算一次損失函數，然後算函數對各個參數的梯度，更新梯度 這種方法每更新一次參數都要把數據集裏的所有樣本都看一遍，計算量開銷大，計算速度慢，不支持在線學習，這稱爲Batch gradient descent，批梯度下降。 （2）stochastic gradie

>>阅读原文<<