最優化算法(三)

牛頓方法 牛頓方法是現在用的比較廣泛的最優化算法之一，其特點是收斂速度較快，上一節的梯度下降和隨機梯度下降都是一階收斂，而牛頓方法是二階收斂。 回憶高等數學裏面介紹的二階泰勒展開有 Q(x)=f(x0)+∇f(x0)(x−x0)+(x−x0)22!∇2f(x0) 而 Q(x) 取到極值的條件，也就是最優化條件是 ∇Q(x)=0 ，可得 ∇f(xk)+∇2f(xk)(x−xk)=0 xk+1=xk−

>>阅读原文<<