凸優化學習筆記17：次梯度下降法

對於光滑函數，我們可以用梯度下降法，並且證明了取不同的步長，可以得到次線性收斂，如果加上強凸性質，還可以得到線性收斂速度。那如果現在對於不可導的函數，我們就只能沿着次梯度下降，同樣會面臨步長的選擇、方向的選擇、收斂性分析等問題。 1. 收斂性分析 次梯度下降的一般形式爲 x ( k ) = x ( k − 1 ) − t k g ( k − 1 ) , k = 1 , 2 , … g ∈ ∂ f

>>阅读原文<<