機器學習中梯度下降法和牛頓法的比較

梯度下降法用到一階導，即目標函數變化最快的方向，牛頓法同時用到二階導，計算梯度變化最快的方向，收斂速度更快。 梯度下降法 迭代公式爲： θ j : = θ j − α ∂ ∂ θ j J ( θ j ) \theta_j :=\theta_j -\alpha \frac{\partial }{\partial \theta_j } J(\theta_j ) θj​:=θj​−α∂θj​∂​J(θj

>>阅读原文<<