對偶上升（普通拉格朗日方法）和 增廣朗格朗日方法

對偶上升（拉格朗日） 增廣拉格朗日方法 區別： 對偶上升：梯度上升的步長是針對每一次迭代都不固定。 增廣拉格朗日方法：不過梯度上升的步長改成了固定的參數，而且罰項的係數也和這個步長有關。（一般取1） 增廣拉格朗日的魯棒性更好，容易收斂。較爲適合等式約束，對於不等式約束需要對問題進行變形，得到中間變量，然後對中間變量討論求解。 類似於增廣拉格朗日的方法：交替方向乘子法（ADMM）

>>阅读原文<<