隨機梯度下降與動量詳解

1. SGD圖示 紅色表示SGD的收斂路徑，棕色表示梯度下降的收斂路徑。普通的GD算法就是計算出每一時刻最陡的下降趨勢(梯度)，SGD在隨機挑選某一分量的梯度方向進行收斂，詳細解釋可繼續往下看。 2. SGD公式理解 注：這一部分引用自知乎用戶Qi Qi，原回答鏈接 隨機梯度下降主要用來求解類似於如下求和形式的優化問題： f(x)=∑i=1nfi(w,xi,yi) f ( x ) = ∑ i =

>>阅读原文<<