【知識框架】優化方法基本原理：梯度下降法、牛頓法、拉格朗日對偶法

梯度下降法 梯度下降法是求解無約束最優化問題的一種最常用方法，實現簡單，每一步需要求解目標函數的梯度向量。 以二元函數 z=f(x,y) 等值線俯視圖爲例： 牛頓法和擬牛頓法 牛頓法是求解無約束最優化問題的常用方法，收斂速度快，每一步迭代需要求解目標函數的海森矩陣的逆矩陣，計算較爲複雜。 擬牛頓法則用正定矩陣近似海森矩陣的逆矩陣，簡化了牛頓法。 海森矩陣(Hessian Matrix)是一個多元函

>>阅读原文<<