凸優化學習筆記 21：加速近似梯度下降方法

我們證明了梯度方法最快的收斂速度只能是 O ( 1 / k 2 ) O(1/k^2) O(1/k2)（沒有強凸假設的話），但是前面的方法最多隻能達到 O ( 1 / k ) O(1/k) O(1/k) 的收斂速度，那麼有沒有方法能達到這一極限呢？有！這一節要講的**加速近似梯度方法(APG)**就是。這個方法的構造非常的巧妙，證明過程中會發現每一項都恰到好處的抵消了！真不知道作者是怎麼想出來這麼巧

>>阅读原文<<