momentum SGD（動量梯度下降）

轉載於：https://blog.csdn.net/leviopku/article/details/80418672 1. SGD圖示 紅色表示SGD的收斂路徑，棕色表示梯度下降的收斂路徑。普通的GD算法就是計算出每一時刻最陡的下降趨勢(梯度)，SGD在隨機挑選某一分量的梯度方向進行收斂，詳細解釋可繼續往下看。 2. SGD公式理解 注：這一部分引用自知乎用戶Qi Qi，原回答鏈接 隨機梯度下降

>>阅读原文<<