【優化】關於一階梯度降低和二階牛頓法的推導

梯度降低和二階牛頓法的直觀推導 優化的目的 梯度降低算法 牛頓法 實驗驗證(TODO) 優化的目的 假設有 l o s s = f ( x ) loss=f(x) loss=f(x),咱們經過每次迭代 x ′ = x + δ x x'=x+\delta x x′=x+δx來使得 f ( x ′ ) < f ( x ) f(x') < f(x) f(x′)<f(x)，這是咱們優化的終極目的。泰勒分解

>>阅读原文<<