拉格朗日乘數法和對偶線性規劃問題的聯繫
拉格朗日乘數法解題的基本思想
下面以一個二元函數爲例子解釋拉格朗日乘數法用於求解條件極值問題的思想。函數
咱們給定一個二元函數\(z\)：spa
\[z=f(x,y) \]
和一個約束條件：class
\[\varphi(x,y)=0 \]
爲了求解\(z=f(x,y)\)在附加條件下的極值，咱們先做出拉格朗日函數\(L(x,y,\lambda)\)，其定義以下：變量
\[L(x,y,\lambda)=f(x,y)+\lambda\varphi(x,y) \]
而後令\(L(x,y,\lambda)\)關於\(x,y,\lambda\)的 一階偏導數分別等於0：lambda
\[\begin{aligned} \frac{\partial L}{\partial x}&=\frac{\partial f}{\partial x}+\lambda \frac{\partial \varphi}{\partial x}=0\\ \frac{\partial L}{\partial y}&=\frac{\partial f}{\partial y}+\lambda \frac{\partial \varphi}{\partial y}=0\\ \frac{\partial L}{\partial \lambda}&=\varphi (x,y)=0 \end{aligned} \]
求解知足上述方程組的\(x,y,\lambda\)，獲得的駐點\((x,y)\)，是\(z=f(x,y)\)在約束條件\(\varphi(x,y)=0\)限制下的可能的極值點。di
對偶線性規劃問題與拉格朗日乘數法
在這裏咱們給定一個通常的線性規劃問題\(P\)：display
\[\min z=c^TX\quad\\\begin{aligned}{\rm s.t.}\quad AX&\ge b\\X&\ge 0\end{aligned} \]
設:math
\[X=\left[\begin{matrix}x_1\\x_2\\ \vdots \\x_n\end{matrix}\right]\quad b=\left[\begin{matrix}b_1\\b_2\\ \vdots \\b_m\end{matrix}\right]\quad Y=\left[\begin{matrix}y_1\\y_2\\ \vdots \\y_m\end{matrix}\right]\quad \Lambda=\left[\begin{matrix}\lambda_1\\\lambda_2\\ \vdots \\\lambda_n\end{matrix}\right] \]
再令：ab
\[\overline{A}=\left[\begin{matrix}A\\I_{n}\end{matrix}\right]\quad\overline{b}=\left[\begin{matrix}b\\0\end{matrix}\right]\quad \overline{Y}=\left[\begin{matrix}Y\\\Lambda\end{matrix}\right] \]
咱們能夠做出它的拉格朗日函數：play
\[L(X,\overline Y)=c^TX-\overline Y^T(\overline AX-\overline b)=(c-\overline A^T\overline Y)^TX+\overline b^T\overline Y \]
這裏的乘子\(Y\ge 0,\Lambda\ge0\)，其梯度爲：
\[\nabla_XL(X,\overline Y)=c-\overline A^T\overline Y \]
極值點的梯度必定爲零，根據拉格朗日乘數法的求解思路，此時直接令梯度等於零，而後求解相應的變量值。接下來咱們求解問題\(D\)：
\[\max \ \ (c-\overline A^T\overline Y)^TX+\overline b^T\overline Y\\{\rm s.t.}\quad c-\overline A^T\overline Y=0 \]
因爲咱們已經令\(c-\overline A^T\overline Y=0\)，那麼問題\(D\)能夠化簡爲：
\[\max \ \ \overline b^T\overline Y\\\begin{aligned}{\rm s.t.}\quad c&=\overline A^T\overline Y\\\overline Y&\ge 0\end{aligned} \]
又由於：
\[\overline{A}=\left[\begin{matrix}A\\I_{n}\end{matrix}\right]\quad\overline{b}=\left[\begin{matrix}b\\0\end{matrix}\right]\quad \overline{Y}=\left[\begin{matrix}Y\\\Lambda\end{matrix}\right] \]
因此：
\[\overline b^T\overline Y=\left[\begin{matrix}b^T &0^T\end{matrix}\right]\left[\begin{matrix}Y\\\Lambda\end{matrix}\right]=b^TY\\\overline A^T\overline Y=\left[\begin{matrix}A^T &I_n\end{matrix}\right]\left[\begin{matrix}Y\\\Lambda\end{matrix}\right]=A^TY+\Lambda \]
因爲\(\Lambda\ge0\)，結合上式，問題\(D\)還能夠進一步化簡爲：
\[\max \ \ b^TY\\\begin{aligned}{\rm s.t.}\quad A^TY\le c\\Y\ge0\end{aligned} \]
這樣的問題\(D\)就稱爲原始線性規劃問題\(P\)的對偶問題。
對偶線性規劃的性質
定理1
設\(X\)是原始規劃\(P\)的可行解，\(Y\)是對偶規劃\(D\)的可行解，則恆有：
\[c^TX\le b^TY \]
證實：
\[c^TX\le (A^TY)^TX=Y^T(AX)\le Y^Tb=b^TY \]
定理2
若是\(X\)和\(Y\)分別是原始規劃和對偶規劃的可行解，且\(c^TX=b^TY\)，則\(X,Y\)分別是它們的最優解。
證實是顯然的，由定理1直接獲得。
定理3
若是原始規劃有最優解，則對偶規劃也有最優解，且它們最優值相等，反之亦然。
證實：
充分性：先引入鬆弛變量\(U\)，將\(P\)寫成：
\[\max \ \ c^TX\\\begin{aligned}{\rm s.t.}\quad AX+I_mU&=b\\X\ge0,u&\ge 0\end{aligned} \]
設最優解的基爲\(B\)，基變量\(X_B=B^{-1}b\)，檢驗數\(\Lambda\le 0\).其中\(\Lambda\)分爲兩部分，對應\(X\)的\(\Lambda_1\)和對應\(U\)的\(\Lambda_2\).故
\[\Lambda_1^T=c^T-c_B^TB^{-1}A\le0\\\Lambda_2^T=-c^T_BB^{-1}E=-c_B^TB^{-1}\le0 \]
令\(Y^T=c_B^TB^{-1}\)，則有\(Y\ge 0\)，\(A^TY\ge c\)，從而\(Y\)是\(D\)的可行解，又由：
\[w=b^TY=Y^Tb=c_B^TB^{-1}b=c_B^TX=z \]
從而\(Y\)是\(D\)的最優解。充分性得證。
必要性：由於對偶規劃的對偶問題是原始規劃，由上述充分性可直接得出必要性。