機器學習之優化算法

一、SGD 算法SGD在第 k 個訓練迭代的更新: Require: 學習率 ϵk Require: 初始參數 θ while 停止準則未滿足 do 從訓練集中採包含 m 個樣本{x(1), . . . , x(m)} 的小批量，其中 x(i) 對應目標爲y(i)。 計算梯度估計：gˆ ← + 1/m ∇θ ∑i L(f(x(i); θ), y(i)) 應用更新：θ ← θ ϵgˆ end whi

>>阅读原文<<