優化算法知識點整理

幾種優化算法，梯度下降的種類 考慮無約束優化問題 minxf(x) m i n x f ( x ) 梯度下降 梯度下降法是一種常用的一階優化方法，是求解無約束優化問題最簡單、最經典的方法之一。 其中，f(x)連續可微。若能構造一個序列 x0,x1,x2,... x 0 , x 1 , x 2 , . . . 滿足 f(xt+1)<f(xt),t=0,1,2... f ( x t + 1 ) < f

>>阅读原文<<