《動手學深度學習》第三十一天---小批量隨機梯度降低

小批量隨機梯度降低：在更新每一參數時都使用一部分樣原本進行更新。爲了克服上面兩種方法的缺點，又同時兼顧兩種方法的優勢。 小批量隨機梯度降低隨機均勻採樣一個由訓練數據樣本索引組成的小批量βt。咱們能夠經過重複採樣（sampling with replacement)或者不重複採樣(sampling without replacement)獲得一個小批量中的各個樣本。可使用下列公式來計算時間步t的小批

>>阅读原文<<