無約束優化問題之梯度下降法、牛頓法原理

無約束優化問題是機器學習中最普遍、最簡單的優化問題 x ∗ = m i n x f ( x ) , x ∈ R n x^{*}=\mathop{min}\limits_{x}f_{(x)},x\in R^{n} x∗=xmin​f(x)​,x∈Rn 梯度下降法推導 對於只有兩個維度的函數 f ( x , y ) f_{(x,y)} f(x,y)​,如下圖所示。 如果現在在 P P P點，假設 ∣

>>阅读原文<<