理解梯度下降法(Gradient Descent)

最近看了CMU的凸優化，裏面對梯度下降的原理講的比較清楚，這裏將自己對梯度下降的理解做一個總結，如果有不對的地方希望大家指正。 1.梯度下降法 考慮無約束的最小化問題： minxf(x)(1) 優化目標 f(x) 是可微的凸函數。 使用梯度下降法求解上述問題的最優解 x∗ ，迭代過程爲： xk=xk−1−α⋅∇f(xk−1)(2) 爲什麼使用上述迭代可以從下面的角度考慮。 2.解釋1 將 f(x)

>>阅读原文<<