梯度下降法與牛頓法的比較

兩種方法的詳細講解可以參考： 梯度下降算法（Gradient Descent Optimization） 牛頓法（Newton Methods）、阻尼牛頓法和擬牛頓法 相同點 二者都是求解無約束最優化問題的常用方法 不同點 （1）原理方面 梯度下降法的搜索方向是沿着等高線的法向量方向進行搜索，每次迭代優化方向爲梯度方向，即當前點所在等高線的法向。但往往等高線很少是正圓形，這種情況下搜索次數會過多。

>>阅读原文<<