梯度降低法與牛頓法

1 梯度降低法 梯度降低法（gradient descent：GD） 梯度： f(θ) 在 θ0 處的梯度表示 f(θ) 在點 θ0 處函數值變化最快的方向。 對於凸函數 f(θ) 來講，沿着負梯度方向尋找能夠找到函數的極小值 web θk+1=θk−ηf′(θk) k 表示第 k 步迭代， η 表示修正因子(步長)，由於梯度方向變化最快，只在局部有效 若是對於多維情形，表示爲 θk+1=θk−η

>>阅读原文<<