隨機梯度下降(SGD)和批量梯度下降(BGD)的區別

梯度下降（GD, gradient descent）：梯度下降法是求解無約束最優化問題的一種常用方法，比較適用於控制變量較多，受控系統比較複雜，無法建立準確數學模型的最優化控制過程。是一種迭代算法，每一步需要求解目標函數的梯度向量。      在機器學習中，GD主要用於降低模型輸出和真實輸出之間的損失/誤差，迭代模型結構。隨機梯度下降是隨機取樣替代完整的樣本，主要作用是提高迭代速度，避免陷入龐大計

>>阅读原文<<