交替方向乘子法（Alternating Direction Method of Multipliers）

交替方向乘子法（Alternating Direction Method of Multipliers）

做者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/

1. 交替方向乘子法簡介——Alternating Direction Method of Multipliers

    ADMM 最先分別由 Glowinski & Marrocco 及 Gabay & Mercier 於 1975 年和 1976 年提出，並被 Boyd 等人於 2011 年從新綜述並證實其適用於大規模分佈式優化問題。

    因爲 ADMM 的提出早於大規模分佈式計算系統和大規模優化問題的出現，因此在 2011 年之前，這種方法並不廣爲人知。

    交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一種求解具備可分離的凸優化問題的計算框架, 因爲其處理速度快，收斂性能好，ADMM適用於求解分佈式凸優化問題，特別是統計學習問題。 主要應用在解空間規模很大的狀況，強制分塊求解，並且解的絕對精度要求不是過高。

    ADMM以先分解再結合的形式求解問題，即先把原問題分解成若干個相對原問題較簡單的子問題，再把子問題的解結合起來獲得原問題的全局解。

    ADMM也能夠看做是對偶分解法和增廣拉格朗日乘子法的結合，使該算法有分解性的同時保證了良好的收斂性。

2. 對偶上升法——Dual Ascent

3. 對偶分解——Dual Decomposition

4. 增廣拉格朗日乘子法——Augmented Lagrangians and the Method of Multipliers

5. 交替方向乘子法——ADMM

6. 尺度化後的交替方向乘子法——Scaled Form

7. 參考文獻

[1] Boyd S , Parikh N , Chu E , et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[J]. Foundations and Trends in Machine Learning, 2011, 3(1):1-122.

[2] 陳慶國. 關於交替方向乘子法一些問題的研究[D].中國計量大學,2018.

[3] 交替方向乘子法（ADMM） - 凱魯嘎吉 - 博客園

[4] ADMM: http://web.stanford.edu/~boyd/admm.html