機器學習-優化器：梯度下降法的原理及其優缺點

批量梯度下降法 在機器學習中，優化問題的目標函數通常可以表示成 其中， θ是待優化的模型參數 ， x是模型輸入， f ( x , θ ) f(x,θ) f(x,θ)的是模型的實際輸出，y是模型的目標輸出，函數 L 刻畫了模型在數據 （x,y） 上的損失 p d a t a p_{data} pdata​表示數據的分佈， E表示期望。 因此 ， L ( θ ) L(θ) L(θ)的刻畫了當參數爲 θ

>>阅读原文<<