數值優化（Numerical Optimization）學習系列-懲罰和增廣拉格朗日方法（Augmented Lagrangian Methods）

概述 求解帶約束的最優化問題，一類很重要的方法就是將約束添加到目標函數中，從而轉換爲一系列子問題進行求解，最終逼近最優解。關鍵問題是如何將約束進行轉換。本節主要介紹 1. 二次懲罰方法 2. 非平滑懲罰方法 3. 增廣拉格朗日方法web 二次懲罰方法 動機 帶約束問題若是轉換爲目標函數加上一個對約束的懲罰項，則問題轉換爲一個無約束問題。 轉換後的問題能夠經過懲罰項的係數進行控制，一個比較常見的懲罰

>>阅读原文<<