機器學習筆記5-梯度下降法、牛頓法、擬牛頓法

梯度下降和牛頓法的推導均與泰勒公式有關，所以先介紹泰勒展開公式： 假設，將在出進行泰勒展開： 上面這個迭代形式將應用到下面的梯度下降和牛頓法中。 一、梯度下降法 梯度下降法應用一階泰勒展開，假設L(θ)代表損失函數，目標：最小化損失函數，θ是需要更新的模型參數。下面公式中alpha是步長(學習率)，可以直接賦值一個小的數，也可以通過line search。   二、牛頓法 Hessian矩陣中各元

>>阅读原文<<