最優化方法

梯度下降法 SGD BGD 牛頓法 基本牛頓法 全局牛頓法 擬牛頓法 DFP BFGS L-BFGS 共軛梯度 啓發式 *解決約束優化問題：拉格朗日乘數法 1. 梯度下降法 過程 梯度下降法是一個最優化算法，通常也稱爲最速下降法。最速下降法是求解無約束優化問題最簡單和最古老的方法之一，雖然現已不具有實用性，但是許多有效算法都是以它爲基礎進行改進和修正而得到的。最速下降法是用負梯度方向爲搜索方向的。

>>阅读原文<<