優化器

理論 然後，按照規定的mini-batch大小，進行劃分數據，如下例： 這裏需要注意最後一個mini-batch數據量一般會小於mini-batch大小。 1. 基本算法 1.1隨機梯度下降（SGD） 基本思想是通過梯度下降法，使得網絡參數不斷收斂到全局（或者局部）最小值，但是由於神經網絡層數太多，需要通過反向傳播算法，把誤差一層一層地從輸出傳播到輸入，逐層地更新網絡參數。由於梯度方向是函數值變大

>>阅读原文<<