梯度降低法

梯度降低分類 批梯度降低法（BGD)：使用整個數據集全部的樣本獲得的loss對每一個參數進行更新； 隨機梯度降低法（SGD)：使用一個數據樣本獲得loss對每一個參數更新； 小批量梯度降低法（MBGD)：使用M個樣本獲得的loss對每一個參數更新； 注意：對於全部的梯度降低方法，若是問題不是凸問題那麼全部的方法都有可能陷入局部最小值，不必定能獲得全局最優值。 批梯度降低法 定義：批梯度降低法首先對

>>阅读原文<<