存在即有理---拉格朗日對偶

這得須要一點拉格朗日乘子法的認識。你們可能都很熟悉這個著名的方法。可是仍是有不少入門的朋友忘記了具體過程的，因此仍是但願你們看一下這個來系統的認識一下此方法《拉格朗日乘子法》

建議戰鬥人員多啃幾遍，最好能夠作到本身能夠手推公式。

原函數問題

咱們從新回到那個通常狀況下的約束問題：

其拉格朗日函數爲：

咱們令：

由《拉格朗日乘子法》裏所述的不等式約束狀況下的推導，可知以下：

因此考慮極小化問題：

這與原始問題的解是等價的。由於最小化將給去掉了。這個最新的極小化問題稱爲廣義拉格朗日函數的極小極大問題。咱們定義：

對偶問題

咱們再定義：

則:

被稱爲原始問題的對偶問題。一樣的，咱們也定義：

稱爲對偶問題的值。

原始問題與對偶問題的關係

若原始問題和對偶問題都有最優值，則：

證實：

對於任意的和,有

即

因爲原始問題和對偶問題均有最優值，因此，

即：

由此咱們即可以推論出若,則若是爲原始問題與對偶問題的可行解，那即是最優解。

在KKT條件之下，原始問題和對偶問題的最優解相等，即。這時候咱們求解對偶問題即可獲得原始問題的解。若是朋友們不太理解KKT條件，則能夠看這篇文章《拉格朗日乘子法》。

---

片尾彩蛋——手推KKT條件與對偶關係。

咱們對於最優化問題：

有以下拉格朗日函數：

咱們注意到，這裏咱們令,緣由同上文所述。則,那麼:

繼而咱們獲得：

咱們先停在這，換一條主線： 咱們由對偶問題展開：

咱們須要注意這裏的和都是向量，因此我去掉了下標,因爲與無關，因此上式成立。 又易知：

那咱們也有

那麼這樣的話，結合前面停下來的式子，咱們便有：

這就是對偶問題與原問題相等。而這一切都創建在什麼條件上呢？咱們總結可得KKT條件：

在此條件下，原問題和對偶問題相同，而且與相同。在最優解初或者,此最優值也是的極值點。固然這一切都是在凸函數的前提下提出的。若是是非凸函數的話，KKT條件只能算是必要條件，並且也不存在比較好用的其餘充要條件。

由此咱們獲得了KKT條件。由上文有完整KKT條件介紹