梯度下降法算法原理

神經網絡BP算法通過前向傳播獲得loss值，再反向傳播優化權重參數W，W起點一般是隨機初始化。 用BP算法的時候，不是一次迭代1張圖像，而是一次迭代多張， data_batch在數據集中一次取出256個數據，組成1個batch 學習率step_size乘上更新的梯度weights_grad，就完成了對weights的一次更新 epoch:假設訓練集有4000張圖像，將4000張圖像都跑完叫做一個e

>>阅读原文<<