梯度下降法和牛頓法的比較

梯度下降和牛頓法的推導均與泰勒公式有關，所以先介紹泰勒展開公式： 基本形式： 上面這個迭代形式將應用到下面的梯度下降和牛頓法中。 一、梯度下降 梯度下降法應用一階泰勒展開，假設L(θ)代表損失函數，目標：最小化損失函數，θ是需要更新的模型參數。下面公式中alpha是步長(學習率)，可以直接賦值一個小的數，也可以通過line search。 二、牛頓法 牛頓法應用二階泰勒展開，目標：最小化損失函數

>>阅读原文<<