一些重要的求解約束優化的方法
將原問題替換爲一系列子問題 , 在子問題中原本的約束被替換成加在目標函數上的項. 本章我們介紹屬於此類的三種方法.
二次罰函數法the quadratic penalty method 是在目標函數上增加每個約束違反度平方的某個倍數. 這種方法比較簡單、直觀 . 儘管它有許多的缺陷 , 但實際中還是被經常使用 .非光滑精確罰函數法the nonsmooth exact penalty methods 是用一個 (而不是一系列)無約束問題替代原本的約束問題. 使用這種罰函數, 我們可以僅利用一次無約束極小化找到解, 但隨之而來, 非光滑性可能會製造一些麻煩. 此類的常見罰函數比如
l
1
l_1
l 1 乘子法the methods of multipliers 或增廣Lagrange函數法the augmented Lagrangian method 是另一種精確罰函數法, 其中顯式估計了Lagrange乘子, 避免了二次罰函數帶來的病態問題 .對數障礙函數法log-barrier method 使用對數項來防止迭代點過於接近可行域邊界. 此法是非線性規劃內點法的部分基礎. 我們放在第十九章講述.
考慮使用單一個 函數代替約束優化問題, 其中那個函數由以下組成:
約束優化問題的目標函數 , 加上
對每個約束的一個附加項 , 其在當前點違反約束時爲正, 否則取0.
許多方法都會通過定義一系列這樣的罰函數求解問題, 其中罰項乘上了一個正係數(懲罰因子). 此係數越大, 我們對違反約束的現象越不能容忍, 從而越強制罰函數的極小點靠近約束問題的可行域 .
此類最簡單的罰函數爲二次罰函數(又稱Courant罰函數) , 其中的罰項記爲約束違反度的平方. 我們先在等式約束問題下討論這一方法.
min
x
f
(
x
)
,
s
u
b
j
e
c
t
 
t
o
 
c
i
(
x
)
=
0
,
i
∈
E
.
\min\limits_xf(x),\quad\mathrm{subject\,to\,}c_i(x)=0,\quad i\in\mathcal{E}.
x min f ( x ) , s u b j e c t t o c i ( x ) = 0 , i ∈ E .
Q
(
x
;
μ
)
=
d
e
f
f
(
x
)
+
μ
2
∑
i
∈
E
c
i
2
(
x
)
,
Q(x;\mu)\xlongequal{def}f(x)+\frac{\mu}{2}\sum_{i\in\mathcal{E}}c_i^2(x),
Q ( x ; μ ) d e f
f ( x ) + 2 μ i ∈ E ∑ c i 2 ( x ) ,
μ
>
0
\mu>0
μ > 0 懲罰因子(penalty parameter) . 當
μ
\mu
μ
∞
\infty
∞
{
μ
k
}
:
μ
↑
∞
,
k
→
∞
\{\mu_k\}:\mu\uparrow\infty,k\to\infty
{ μ k } : μ ↑ ∞ , k → ∞
k
k
k
Q
(
x
;
μ
k
)
Q(x;\mu_k)
Q ( x ; μ k )
x
k
x_k
x k
x
k
x_k
x k
x
k
x_k
x k
x
k
−
1
,
x
k
−
2
x_{k-1},x_{k-2}
x k − 1 , x k − 2 初始的迭代點 . 對於合適的
{
μ
k
}
\{\mu_k\}
{ μ k }
例1 考慮以下等式約束問題
min
x
1
+
x
2
,
s
u
b
j
e
c
t
 
t
o
 
x
1
2
+
x
2
2
−
2
=
0
,
\min x_1+x_2,\quad\mathrm{subject\,to\,}x_1^2+x_2^2-2=0,
min x 1 + x 2 , s u b j e c t t o x 1 2 + x 2 2 − 2 = 0 ,
(
−
1
,
−
1
)
T
(-1,-1)^T
( − 1 , − 1 ) T
Q
(
x
;
μ
)
=
x
1
+
x
2
+
μ
2
(
x
1
2
+
x
2
2
−
2
)
2
.
Q(x;\mu)=x_1+x_2+\frac{\mu}{2}(x_1^2+x_2^2-2)^2.
Q ( x ; μ ) = x 1 + x 2 + 2 μ ( x 1 2 + x 2 2 − 2 ) 2 .
μ
=
1
\mu=1
μ = 1
Q
Q
Q
Q
Q
Q
(
−
1.1
,
−
1.1
)
T
(-1.1,-1.1)^T
( − 1 . 1 , − 1 . 1 ) T
(
0.3
,
0.3
)
T
(0.3,0.3)^T
( 0 . 3 , 0 . 3 ) T
而下圖則對應
μ
=
10
\mu=10
μ = 1 0
x
1
2
+
x
2
2
=
2
x_1^2+x_2^2=2
x 1 2 + x 2 2 = 2
Q
Q
Q
(
0
,
0
)
T
(0,0)^T
( 0 , 0 ) T
Q
Q
Q
∞
\infty
∞
但實際情形一般沒有例1中那麼良態. 對於一給定的
μ
\mu
μ
min
−
5
x
1
2
+
x
2
2
,
s
u
b
j
e
c
t
 
t
o
 
x
1
=
1
,
\min -5x_1^2+x_2^2,\quad\mathrm{subject\,to\,}x_1=1,
min − 5 x 1 2 + x 2 2 , s u b j e c t t o x 1 = 1 ,
(
1
,
0
)
T
(1,0)^T
( 1 , 0 ) T
對於一般的約束優化問題
min
x
f
(
x
)
,
s
u
b
j
e
c
t
 
t
o
 
c
i
(
x
)
=
0
,
i
∈
E
,
c
i
(
x
)
≥
0
,
i
∈
I
.
\min\limits_xf(x),\quad\mathrm{subject\,to\,}c_i(x)=0,i\in\mathcal{E},\quad c_i(x)\ge0,i\in\mathcal{I}.
x min f ( x ) , s u b j e c t t o c i ( x ) = 0 , i ∈ E , c i ( x ) ≥ 0 , i ∈ I .
Q
(
x
;
μ
)
=
d
e
f
f
(
x
)
+
μ
2
∑
i
∈
E
c
i
2
(
x
)
+
μ
2
∑
i
∈
I
(
[
c
i
(
x
)
]
−
)
2
,
Q(x;\mu)\xlongequal{def}f(x)+\frac{\mu}{2}\sum_{i\in\mathcal{E}}c_i^2(x)+\frac{\mu}{2}\sum_{i\in\mathcal{I}}\left([c_i(x)]^-\right)^2,
Q ( x ; μ ) d e f
f ( x ) + 2 μ i ∈ E ∑ c i 2 ( x ) + 2 μ i ∈ I ∑ ( [ c i ( x ) ] − ) 2 ,
[
y
]
−
=
max
(
−
y
,
0
)
[y]^-=\max(-y,0)
[ y ] − = max ( − y , 0 ) 此時
Q
Q
Q . 例如若有一個不等式約束爲
x
1
≥
0
x_1\ge0
x 1 ≥ 0
min
(
0
,
x
1
)
2
\min(0,x_1)^2
min ( 0 , x 1 ) 2
Q
Q
Q
基於二次罰函數的一般算法框架如下.
框架1 (Quadratic Penalty Method)
μ
0
>
0
\mu_0>0
μ 0 > 0
{
τ
k
}
\{\tau_k\}
{ τ k }
τ
k
→
0
\tau_k\to0
τ k → 0
x
0
s
x_0^s
x 0 s
k
=
0
,
1
,
2
,
…
k=0,1,2,\ldots
k = 0 , 1 , 2 , …
\quad\quad
x
k
x_k
x k
Q
(
⋅
;
μ
k
)
Q(\cdot;\mu_k)
Q ( ⋅ ; μ k )
x
k
s
x_k^s
x k s
∥
∇
x
Q
(
x
;
μ
k
)
∥
≤
τ
k
\Vert\nabla_xQ(x;\mu_k)\Vert\le\tau_k
∥ ∇ x Q ( x ; μ k ) ∥ ≤ τ k
\quad\quad
\quad\quad\quad\quad
x
k
x_k
x k
\quad\quad
\quad\quad
μ
k
+
1
>
μ
k
\mu_{k+1}>\mu_k
μ k + 1 > μ k
\quad\quad
x
k
+
1
s
x_{k+1}^s
x k + 1 s
我們可以基於在每次迭代極小化罰函數的困難度自適應 地選取懲罰因子序列
{
μ
k
}
\{\mu_k\}
{ μ k }
當極小化
Q
(
x
;
μ
k
)
Q(x;\mu_k)
Q ( x ; μ k )
k
k
k
μ
k
\mu_k
μ k
μ
k
+
1
\mu_{k+1}
μ k + 1
μ
k
+
1
=
1.5
μ
k
\mu_{k+1}=1.5\mu_k
μ k + 1 = 1 . 5 μ k
若我們比較容易就能找到
Q
(
x
;
μ
k
)
Q(x;\mu_k)
Q ( x ; μ k )
μ
k
+
1
=
10
μ
k
\mu_{k+1}=10\mu_k
μ k + 1 = 1 0 μ k
框架1的收斂理論給予了非負序列
{
τ
k
}
\{\tau_k\}
{ τ k }
τ
k
→
0
\tau_k\to0
τ k → 0
正如之前討論過的, 我們無法保證
∥
∇
x
Q
(
x
;
μ
k
)
∥
≤
τ
k
\Vert\nabla_xQ(x;\mu_k)\Vert\le\tau_k
∥ ∇ x Q ( x ; μ k ) ∥ ≤ τ k 當約束違反度下降不夠快, 或者當迭代點趨向於發散時, 增大懲罰因子(或存儲初始點)的防護措施 .
當只有等式約束時,
Q
(
x
;
μ
k
)
Q(x;\mu_k)
Q ( x ; μ k )
x
k
x_k
x k
μ
k
\mu_k
μ k
Q
(
x
;
μ
k
)
Q(x;\mu_k)
Q ( x ; μ k ) 條件數變大 ), 除非我們使用特殊的手段計算搜索方向.
一方面, Hessian陣
∇
x
x
2
Q
(
x
;
μ
k
)
\nabla_{xx}^2Q(x;\mu_k)
∇ x x 2 Q ( x ; μ k )
μ
k
\mu_k
μ k
在我們求解線性系統計算牛頓步時, 病態的
∇
x
x
2
Q
(
x
;
μ
k
)
\nabla_{xx}^2Q(x;\mu_k)
∇ x x 2 Q ( x ; μ k )
即使
x
x
x
Q
(
⋅
;
μ
k
)
Q(\cdot;\mu_k)
Q ( ⋅ ; μ k )
Q
(
x
;
μ
k
)
Q(x;\mu_k)
Q ( x ; μ k )
x
x
x
Q
Q
Q
Q
(
x
;
μ
k
)
Q(x;\mu_k)
Q ( x ; μ k )
x
k
+
1
s
x_{k+1}^s
x k + 1 s
x
k
+
1
s
=
x
k
x_{k+1}^s=x_k
x k + 1 s = x k
μ
k
+
1
\mu_{k+1}
μ k + 1
μ
k
\mu_k
μ k
我們在下面兩個定理裏介紹二次罰函數方法的一些收斂性質. 我們將討論限制在等式約束問題.
對於第一個結果, 我們假設對每個
μ
k
\mu_k
μ k
Q
(
x
;
μ
k
)
Q(x;\mu_k)
Q ( x ; μ k )
定理1 設
x
k
x_k
x k
Q
(
x
;
μ
k
)
Q(x;\mu_k)
Q ( x ; μ k )
μ
k
↑
∞
\mu_k\uparrow\infty
μ k ↑ ∞
{
x
k
}
\{x_k\}
{ x k }
證明: 令
x
ˉ
\bar{x}
x ˉ
f
(
x
ˉ
)
≤
f
(
x
)
,
∀
x
:
c
i
(
x
)
=
0
,
i
∈
E
.
f(\bar{x})\le f(x),\quad\forall x:c_i(x)=0,i\in\mathcal{E}.
f ( x ˉ ) ≤ f ( x ) , ∀ x : c i ( x ) = 0 , i ∈ E .
k
k
k
x
k
x_k
x k
Q
(
⋅
;
μ
k
)
Q(\cdot;\mu_k)
Q ( ⋅ ; μ k )
Q
(
x
k
;
μ
k
)
≤
Q
(
x
ˉ
;
μ
k
)
Q(x_k;\mu_k)\le Q(\bar{x};\mu_k)
Q ( x k ; μ k ) ≤ Q ( x ˉ ; μ k )
f
(
x
k
)
+
μ
k
2
∑
i
∈
E
c
i
2
(
x
k
)
≤
f
(
x
ˉ
)
+
μ
k
2
∑
i
∈
E
c
i
2
(
x
ˉ
)
=
f
(
x
ˉ
)
.
f(x_k)+\frac{\mu_k}{2}\sum_{i\in\mathcal{E}}c_i^2(x_k)\le f(\bar{x})+\frac{\mu_k}{2}\sum_{i\in\mathcal{E}}c_i^2(\bar{x})=f(\bar{x}).
f ( x k ) + 2 μ k i ∈ E ∑ c i 2 ( x k ) ≤ f ( x ˉ ) + 2 μ k i ∈ E ∑ c i 2 ( x ˉ ) = f ( x ˉ ) .
∑
i
∈
E
c
i
2
(
x
k
)
≤
2
μ
k
[
f
(
x
ˉ
)
−
f
(
x
k
)
]
.
\sum_{i\in\mathcal{E}}c_i^2(x_k)\le\frac{2}{\mu_k}[f(\bar{x})-f(x_k)].
i ∈ E ∑ c i 2 ( x k ) ≤ μ k 2 [ f ( x ˉ ) − f ( x k ) ] .
x
∗
x^*
x ∗
{
x
k
}
\{x_k\}
{ x k }
{
1
,
2
,
…
,
n
,
…
}
\{1,2,\ldots,n,\ldots\}
{ 1 , 2 , … , n , … }
K
\mathcal{K}
K
lim
k
→
K
x
k
=
x
∗
.
\lim_{k\to\mathcal{K}}x_k=x^*.
k → K lim x k = x ∗ .
k
→
∞
,
k
∈
K
k\to\infty,k\in\mathcal{K}
k → ∞ , k ∈ K
∑
i
∈
E
c
i
2
(
x
∗
)
=
lim
k
∈
K
∑
i
∈
E
c
i
2
(
x
k
)
≤
lim
k
∈
K
2
μ
k
[
f
(
x
ˉ
)
−
f
(
x
k
)
]
=
0.
\sum_{i\in\mathcal{E}}c_i^2(x^*)=\lim_{k\in\mathcal{K}}\sum_{i\in\mathcal{E}}c_i^2(x_k)\le\lim_{k\in\mathcal{K}}\frac{2}{\mu_k}[f(\bar{x})-f(x_k)]=0.
i ∈ E ∑ c i 2 ( x ∗ ) = k ∈ K lim i ∈ E ∑ c i 2 ( x k ) ≤ k ∈ K lim μ k 2 [ f ( x ˉ ) − f ( x k ) ] = 0 .
c
i
(
x
∗
)
=
0
,
i
∈
E
c_i(x^*)=0,i\in\mathcal{E}
c i ( x ∗ ) = 0 , i ∈ E
x
∗
x^*
x ∗
f
(
x
∗
)
≤
f
(
x
∗
)
+
lim
k
∈
K
μ
k
2
∑
i
∈
E
c
i
2
(
x
k
)
≤
f
(
x
ˉ
)
.
f(x^*)\le f(x^*)+\lim_{k\in\mathcal{K}}\frac{\mu_k}{2}\sum_{i\in\mathcal{E}}c_i^2(x_k)\le f(\bar{x}).
f ( x ∗ ) ≤ f ( x ∗ ) + k ∈ K lim 2 μ k i ∈ E ∑ c i 2 ( x k ) ≤ f ( x ˉ ) .
x
∗
x^*
x ∗
x
ˉ
\bar{x}
x ˉ
x
∗
x^*
x ∗
此結論對帶不等式的問題也成立. 但由於需要我們求每個子問題的全局極小點, 因此此性質一般並不能成立 . 下一結論則允許我們不精確(但精確度要提升)極小化
Q
(
⋅
;
μ
k
)
Q(\cdot;\mu_k)
Q ( ⋅ ; μ k )
{
x
k
}
\{x_k\}
{ x k }
−
μ
k
c
i
(
x
k
)
-\mu_kc_i(x_k)
− μ k c i ( x k )
λ
i
∗
\lambda_i^*
λ i ∗
爲建立定理, 我們需樂觀地 假設對所有
k
k
k
∥
∇
x
Q
(
x
;
μ
k
)
∥
≤
τ
k
\Vert\nabla_xQ(x;\mu_k)\Vert\le\tau_k
∥ ∇ x Q ( x ; μ k ) ∥ ≤ τ k
定理2 設框架1中的容忍限序列和懲罰因子序列滿足
τ
k
→
0
,
μ
k
↑
∞
\tau_k\to0,\mu_k\uparrow\infty
τ k → 0 , μ k ↑ ∞
{
x
k
}
\{x_k\}
{ x k }
x
∗
x^*
x ∗
∥
c
(
x
)
∥
2
\Vert c(x)\Vert^2
∥ c ( x ) ∥ 2
x
∗
x^*
x ∗
∇
c
i
(
x
∗
)
\nabla c_i(x^*)
∇ c i ( x ∗ )
x
∗
x^*
x ∗
x
∗
x^*
x ∗
∀
K
:
lim
k
∈
K
x
k
=
x
∗
\forall\mathcal{K}:\lim_{k\in\mathcal{K}}x_k=x^*
∀ K : lim k ∈ K x k = x ∗
lim
k
∈
K
−
μ
k
c
i
(
x
k
)
=
λ
i
∗
,
∀
i
∈
E
,
\lim_{k\in\mathcal{K}}-\mu_kc_i(x_k)=\lambda_i^*,\quad\forall i\in\mathcal{E},
k ∈ K lim − μ k c i ( x k ) = λ i ∗ , ∀ i ∈ E ,
λ
∗
\lambda^*
λ ∗
證明: 對
Q
(
x
;
μ
k
)
Q(x;\mu_k)
Q ( x ; μ k )
∇
x
Q
(
x
k
;
μ
k
)
=
∇
f
(
x
k
)
+
∑
i
∈
E
μ
k
c
i
(
x
k
)
∇
c
i
(
x
k
)
,
\nabla_xQ(x_k;\mu_k)=\nabla f(x_k)+\sum_{i\in\mathcal{E}}\mu_kc_i(x_k)\nabla c_i(x_k),
∇ x Q ( x k ; μ k ) = ∇ f ( x k ) + i ∈ E ∑ μ k c i ( x k ) ∇ c i ( x k ) ,
∥
∇
f
(
x
k
)
+
∑
i
∈
E
μ
k
c
i
(
x
k
)
∇
c
i
(
x
k
)
∥
≤
τ
k
.
\left\Vert\nabla f(x_k)+\sum_{i\in\mathcal{E}}\mu_kc_i(x_k)\nabla c_i(x_k)\right\Vert\le\tau_k.
∥ ∥ ∥ ∥ ∥ ∇ f ( x k ) + i ∈ E ∑ μ k c i ( x k ) ∇ c i ( x k ) ∥ ∥ ∥ ∥ ∥ ≤ τ k .
∥
∑
i
∈
E
c
i
(
x
k
)
∇
c
i
(
x
k
)
∥
≤
1
μ
k
[
τ
k
+
∥
∇
f
(
x
k
)
∥
]
.
\left\Vert\sum_{i\in\mathcal{E}}c_i(x_k)\nabla c_i(x_k)\right\Vert\le\frac{1}{\mu_k}[\tau_k+\Vert\nabla f(x_k)\Vert].
∥ ∥ ∥ ∥ ∥ i ∈ E ∑ c i ( x k ) ∇ c i ( x k ) ∥ ∥ ∥ ∥ ∥ ≤ μ k 1 [ τ k + ∥ ∇ f ( x k ) ∥ ] .
x
∗
x^*
x ∗
K
\mathcal{K}
K
lim
k
∈
K
x
k
=
x
∗
\lim_{k\in\mathcal{K}}x_k=x^*
lim k ∈ K x k = x ∗
k
→
∞
,
k
∈
K
k\to\infty,k\in\mathcal{K}
k → ∞ , k ∈ K
∑
i
∈
E
c
i
(
x
∗
)
∇
c
i
(
x
∗
)
=
0.
\sum_{i\in\mathcal{E}}c_i(x^*)\nabla c_i(x^*)=0.
i ∈ E ∑ c i ( x ∗ ) ∇ c i ( x ∗ ) = 0 .
c
i
(
x
∗
)
≠
0
c_i(x^*)\ne0
c i ( x ∗ ) ̸ = 0
∇
c
i
(
x
∗
)
\nabla c_i(x^*)
∇ c i ( x ∗ )
x
∗
x^*
x ∗
∥
c
(
x
)
∥
2
\Vert c(x)\Vert^2
∥ c ( x ) ∥ 2
若
∇
c
i
(
x
∗
)
\nabla c_i(x^*)
∇ c i ( x ∗ )
c
i
(
x
∗
)
=
0
,
∀
i
∈
E
c_i(x^*)=0,\forall i\in\mathcal{E}
c i ( x ∗ ) = 0 , ∀ i ∈ E
x
∗
x^*
x ∗
A
A
A
−
μ
k
c
(
x
k
)
-\mu_kc(x_k)
− μ k c ( x k )
λ
k
\lambda_k
λ k
A
(
x
k
)
T
λ
k
=
∇
f
(
x
k
)
−
∇
x
Q
(
x
k
;
μ
k
)
,
∥
∇
x
Q
(
x
k
;
μ
k
)
∥
≤
τ
k
.
A(x_k)^T\lambda_k=\nabla f(x_k)-\nabla_xQ(x_k;\mu_k),\quad\Vert\nabla_xQ(x_k;\mu_k)\Vert\le\tau_k.
A ( x k ) T λ k = ∇ f ( x k ) − ∇ x Q ( x k ; μ k ) , ∥ ∇ x Q ( x k ; μ k ) ∥ ≤ τ k .
k
∈
K
k\in\mathcal{K}
k ∈ K
A
(
x
k
)
A(x_k)
A ( x k )
A
(
x
k
)
A
(
x
k
)
T
A(x_k)A(x_k)^T
A ( x k ) A ( x k ) T
A
(
x
k
)
A(x_k)
A ( x k )
λ
k
=
[
A
(
x
k
)
A
(
x
k
)
T
]
−
1
A
(
x
k
)
[
∇
f
(
x
k
)
−
∇
x
Q
(
x
k
;
μ
k
)
]
.
\lambda_k=\left[A(x_k)A(x_k)^T\right]^{-1}A(x_k)[\nabla f(x_k)-\nabla_xQ(x_k;\mu_k)].
λ k = [ A ( x k ) A ( x k ) T ] − 1 A ( x k ) [ ∇ f ( x k ) − ∇ x Q ( x k ; μ k ) ] .
k
→
∞
,
k
∈
K
k\to\infty,k\in\mathcal{K}
k → ∞ , k ∈ K
lim
k
∈
K
λ
k
=
λ
∗
=
[
A
(
x
∗
)
A
(
x
∗
)
T
]
−
1
A
(
x
∗
)
∇
f
(
x
∗
)
.
\lim_{k\in\mathcal{K}}\lambda_k=\lambda^*=\left[A(x^*)A(x^*)^T\right]^{-1}A(x^*)\nabla f(x^*).
k ∈ K lim λ k = λ ∗ = [ A ( x ∗ ) A ( x ∗ ) T ] − 1 A ( x ∗ ) ∇ f ( x ∗ ) .
∇
f
(
x
∗
)
−
A
(
x
∗
)
T
λ
∗
=
0
,
\nabla f(x^*)-A(x^*)^T\lambda^*=0,
∇ f ( x ∗ ) − A ( x ∗ ) T λ ∗ = 0 ,
λ
∗
\lambda^*
λ ∗
x
∗
x^*
x ∗
λ
∗
\lambda^*
λ ∗
需重複強調的是, 若聚點
x
∗
x^*
x ∗
∥
c
(
x
)
∥
2
\Vert c(x)\Vert^2
∥ c ( x ) ∥ 2 第十一章 中討論非線性方程組的情形. 在原問題不可行時, 我們往往可以觀察到二次罰函數算法收斂於
∥
c
(
x
)
∥
2
\Vert c(x)\Vert^2
∥ c ( x ) ∥ 2
若考慮不等式約束, 則
x
∗
x^*
x ∗
∥
[
c
(
x
)
]
−
∥
2
\Vert [c(x)]^-\Vert^2
∥ [ c ( x ) ] − ∥ 2
[
c
(
x
)
]
−
[c(x)]^-
[ c ( x ) ] −
[
c
(
x
)
]
i
−
=
{
c
i
(
x
)
,
i
∈
E
,
[
c
i
(
x
)
]
−
,
i
∈
I
.
[c(x)]_i^-=\left\{\begin{array}{ll}c_i(x), & i\in\mathcal{E},\\ [c_i(x)]^-, & i\in\mathcal{I}.\end{array}\right.
[ c ( x ) ] i − = { c i ( x ) , [ c i ( x ) ] − , i ∈ E , i ∈ I .
我們現在來驗證Hessian陣
∇
x
x
2
Q
(
x
;
μ
k
)
\nabla^2_{xx}Q(x;\mu_k)
∇ x x 2 Q ( x ; μ k )
這裏的Hessian陣爲
∇
x
x
2
Q
(
x
;
μ
k
)
=
∇
2
f
(
x
)
+
∑
i
∈
E
μ
k
c
i
(
x
)
∇
2
c
i
(
x
)
+
μ
k
A
(
x
)
T
A
(
x
)
.
\nabla^2_{xx}Q(x;\mu_k)=\nabla^2f(x)+\sum_{i\in\mathcal{E}}\mu_kc_i(x)\nabla^2c_i(x)+\mu_kA(x)^TA(x).
∇ x x 2 Q ( x ; μ k ) = ∇ 2 f ( x ) + i ∈ E ∑ μ k c i ( x ) ∇ 2 c i ( x ) + μ k A ( x ) T A ( x ) .
x
x
x
Q
(
⋅
;
μ
k
)
Q(\cdot;\mu_k)
Q ( ⋅ ; μ k )
∇
x
x
2
Q
(
x
;
μ
k
)
≈
∇
x
x
2
L
(
x
,
λ
∗
)
+
μ
k
A
(
x
)
T
A
(
x
)
.
\nabla^2_{xx}Q(x;\mu_k)\approx\nabla^2_{xx}\mathcal{L}(x,\lambda^*)+\mu_kA(x)^TA(x).
∇ x x 2 Q ( x ; μ k ) ≈ ∇ x x 2 L ( x , λ ∗ ) + μ k A ( x ) T A ( x ) .
∇
x
x
2
Q
(
x
;
μ
k
)
\nabla^2_{xx}Q(x;\mu_k)
∇ x x 2 Q ( x ; μ k )
(Lagrange項)獨立於
μ
k
\mu_k
μ k
秩爲
∣
E
∣
|\mathcal{E}|
∣ E ∣
μ
k
\mu_k
μ k
由於約束的數量
∣
E
∣
|\mathcal{E}|
∣ E ∣
n
n
n 某些特徵值會趨近常數, 而其他的則與
μ
k
\mu_k
μ k . 因
μ
k
→
∞
\mu_k\to\infty
μ k → ∞
∇
x
x
2
Q
(
x
;
μ
k
)
\nabla^2_{xx}Q(x;\mu_k)
∇ x x 2 Q ( x ; μ k )
Hessian病態的一個後果是, 以下牛頓步的計算可能會不夠精確:
∇
x
x
2
Q
(
x
;
μ
k
)
p
=
−
∇
x
Q
(
x
;
μ
k
)
.
\nabla^2_{xx}Q(x;\mu_k)p=-\nabla_xQ(x;\mu_k).
∇ x x 2 Q ( x ; μ k ) p = − ∇ x Q ( x ; μ k ) .
p
p
p
不過, 我們可以重構 以上牛頓方程以避免病態. 引入一個新的變量
ζ
:
=
μ
A
(
x
)
p
\zeta:=\mu A(x)p
ζ : = μ A ( x ) p
p
p
p
[
∇
2
f
(
x
)
+
∑
i
∈
E
μ
k
c
i
(
x
)
∇
2
c
i
(
x
)
A
(
x
)
T
A
(
x
)
−
(
1
/
μ
k
)
I
]
[
p
ζ
]
=
[
−
∇
x
Q
(
x
;
μ
k
)
0
]
.
\begin{bmatrix}\nabla^2f(x)+\sum\limits_{i\in\mathcal{E}}\mu_kc_i(x)\nabla^2c_i(x) & A(x)^T\\A(x) & -(1/\mu_k)I\end{bmatrix}\begin{bmatrix}p\\\zeta\end{bmatrix}=\begin{bmatrix}-\nabla_xQ(x;\mu_k)\\0\end{bmatrix}.
[ ∇ 2 f ( x ) + i ∈ E ∑ μ k c i ( x ) ∇ 2 c i ( x ) A ( x ) A ( x ) T − ( 1 / μ k ) I ] [ p ζ ] = [ − ∇ x Q ( x ; μ k ) 0 ] .
x
x
x
x
∗
x^*
x ∗
μ
k
\mu_k
μ k
μ
k
→
∞
\mu_k\to\infty
μ k → ∞
[
∇
x
x
2
L
(
x
,
λ
∗
)
A
(
x
)
T
A
(
x
)
O
]
,
\begin{bmatrix}\nabla^2_{xx}\mathcal{L}(x,\lambda^*) & A(x)^T\\A(x) & O\end{bmatrix},
[ ∇ x x 2 L ( x , λ ∗ ) A ( x ) A ( x ) T O ] ,
∇
x
x
2
L
(
x
,
λ
∗
)
\nabla^2_{xx}\mathcal{L}(x,\lambda^*)
∇ x x 2 L ( x , λ ∗ )
[
∇
x
x
2
L
(
x
,
λ
∗
)
A
(
x
)
T
A
(
x
)
O
]
∼
[
∇
x
x
2
L
(
x
,
λ
∗
)
A
(
x
)
T
O
−
A
(
x
)
[
∇
x
x
2
L
(
x
,
λ
∗
)
]
−
1
A
(
x
)
T
]
,
\begin{bmatrix}\nabla^2_{xx}\mathcal{L}(x,\lambda^*) & A(x)^T\\A(x) & O\end{bmatrix}\sim\begin{bmatrix}\nabla^2_{xx}\mathcal{L}(x,\lambda^*) & A(x)^T\\O & -A(x)\left[\nabla^2_{xx}\mathcal{L}(x,\lambda^*)\right]^{-1}A(x)^T\end{bmatrix},
[ ∇ x x 2 L ( x , λ ∗ ) A ( x ) A ( x ) T O ] ∼ [ ∇ x x 2 L ( x , λ ∗ ) O A ( x ) T − A ( x ) [ ∇ x x 2 L ( x , λ ∗ ) ] − 1 A ( x ) T ] , 良態重構(well conditioned reformulation) . 不過, 由於
∇
2
f
(
x
)
+
∑
i
∈
E
μ
k
c
i
(
x
)
∇
2
c
i
(
x
)
\nabla^2f(x)+\sum_{i\in\mathcal{E}}\mu_kc_i(x)\nabla^2c_i(x)
∇ 2 f ( x ) + ∑ i ∈ E μ k c i ( x ) ∇ 2 c i ( x )
∇
x
x
2
L
(
x
,
λ
∗
)
\nabla_{xx}^2\mathcal{L}(x,\lambda^*)
∇ x x 2 L ( x , λ ∗ )
μ
k
c
i
(
x
)
\mu_kc_i(x)
μ k c i ( x )
−
λ
i
∗
-\lambda_i^*
− λ i ∗
p
p
p
Q
(
⋅
;
μ
k
)
Q(\cdot;\mu_k)
Q ( ⋅ ; μ k )
如果要通過求解重構的問題計算迭代步, 我們需要求解一個
n
+
∣
E
∣
n+|\mathcal{E}|
n + ∣ E ∣
n
n
n
當
μ
k
\mu_k
μ k SQP迭代步的正則化 , 其中的
−
(
1
/
μ
k
)
I
-(1/\mu_k)I
− ( 1 / μ k ) I
A
(
x
)
A(x)
A ( x )
當
μ
k
\mu_k
μ k 不能較好地滿足約束的線性化 . 我們是不希望這種情況發生的, 因爲這樣一來迭代步就不能朝着可行性改進多少, 從而全局表現不夠高效.
若
{
μ
k
}
\{\mu_k\}
{ μ k } 喪失線性化滿足時獲得超線性收斂速度的機會 . 具體討論可見下一章.
總之, 重構系統可以視作無約束極小在二次懲罰函數
Q
(
⋅
;
μ
k
)
Q(\cdot;\mu_k)
Q ( ⋅ ; μ k )
有些罰函數是精確的(exact) , 即對於特定的懲罰因子, 僅做一次極小化即可得到非線性規劃問題的精確解. 這一性質是很吸引人的, 因爲它使得罰函數方法不依賴於懲罰因子的更新策略 . 第1節介紹的二次罰函數並不是精確的, 這是因爲對任何
μ
\mu
μ
l
1
l_1
l 1
ϕ
1
(
x
;
μ
)
=
f
(
x
)
+
μ
∑
i
∈
E
∣
c
i
(
x
)
∣
+
μ
∑
i
∈
I
[
c
i
(
x
)
]
−
.
\phi_1(x;\mu)=f(x)+\mu\sum_{i\in\mathcal{E}}|c_i(x)|+\mu\sum_{i\in\mathcal{I}}[c_i(x)]^-.
ϕ 1 ( x ; μ ) = f ( x ) + μ i ∈ E ∑ ∣ c i ( x ) ∣ + μ i ∈ I ∑ [ c i ( x ) ] − .
μ
\mu
μ
l
1
l_1
l 1
ϕ
1
(
x
;
μ
)
\phi_1(x;\mu)
ϕ 1 ( x ; μ )
x
x
x
下面的定理揭示了
l
1
l_1
l 1
定理3 設
x
∗
x^*
x ∗
λ
i
∗
,
i
∈
E
∪
I
\lambda_i^*,i\in\mathcal{E}\cup\mathcal{I}
λ i ∗ , i ∈ E ∪ I
x
∗
x^*
x ∗
ϕ
1
(
x
;
μ
)
,
∀
μ
>
μ
∗
\phi_1(x;\mu),\forall\mu>\mu^*
ϕ 1 ( x ; μ ) , ∀ μ > μ ∗
μ
∗
=
∥
λ
∗
∥
∞
=
max
i
∈
E
∪
I
∣
λ
i
∗
∣
.
\mu^*=\Vert\lambda^*\Vert_{\infty}=\max_{i\in\mathcal{E}\cup\mathcal{I}}|\lambda_i^*|.
μ ∗ = ∥ λ ∗ ∥ ∞ = i ∈ E ∪ I max ∣ λ i ∗ ∣ .
x
∗
x^*
x ∗
μ
>
μ
∗
\mu>\mu^*
μ > μ ∗
x
∗
x^*
x ∗
ϕ
1
(
x
;
μ
)
\phi_1(x;\mu)
ϕ 1 ( x ; μ )
證明可見 Han S P和Mangasarian O L1
粗略地說, 在非線性規劃的解
x
∗
x^*
x ∗
ϕ
1
(
x
∗
;
μ
)
=
f
(
x
∗
)
\phi_1(x^*;\mu)=f(x^*)
ϕ 1 ( x ∗ ; μ ) = f ( x ∗ )
ϕ
(
⋅
;
μ
)
\phi(\cdot;\mu)
ϕ ( ⋅ ; μ )
x
∗
x^*
x ∗
例2 考慮如下單變量問題:
min
x
,
s
u
b
j
e
c
t
 
t
o
 
x
≥
1
,
\min x,\quad\mathrm{subject\,to\,}x\ge1,
min x , s u b j e c t t o x ≥ 1 ,
x
∗
=
1
x^*=1
x ∗ = 1
ϕ
1
(
x
;
μ
)
=
x
+
μ
[
x
−
1
]
−
=
{
(
1
−
μ
)
x
+
μ
,
x
≤
1
,
x
x
>
1.
\phi_1(x;\mu)=x+\mu[x-1]^-=\left\{\begin{array}{ll}(1-\mu)x+\mu, & x\le1,\\x & x>1.\end{array}\right.
ϕ 1 ( x ; μ ) = x + μ [ x − 1 ] − = { ( 1 − μ ) x + μ , x x ≤ 1 , x > 1 .
μ
>
1
\mu>1
μ > 1
x
∗
=
1
x^*=1
x ∗ = 1
μ
<
1
\mu<1
μ < 1
由於罰函數法通過直接極小化罰函數起作用, 所以我們需要刻畫
ϕ
1
\phi_1
ϕ 1
ϕ
1
\phi_1
ϕ 1 方向導數
D
(
ϕ
1
(
x
;
μ
)
;
p
)
D(\phi_1(x;\mu);p)
D ( ϕ 1 ( x ; μ ) ; p )
定義1 一點
x
^
∈
R
n
\hat{x}\in\mathbb{R}^n
x ^ ∈ R n
ϕ
1
(
x
;
μ
)
\phi_1(x;\mu)
ϕ 1 ( x ; μ )
D
(
ϕ
1
(
x
^
;
μ
)
;
p
)
≥
0
,
∀
p
∈
R
n
.
D(\phi_1(\hat{x};\mu);p)\ge0,\quad\forall p\in\mathbb{R}^n.
D ( ϕ 1 ( x ^ ; μ ) ; p ) ≥ 0 , ∀ p ∈ R n .
x
^
\hat{x}
x ^ 不可行度量(the measure of infeasibility)
h
(
x
)
=
∑
i
∈
E
∣
c
i
(
x
)
∣
+
∑
i
∈
I
[
c
i
(
x
)
]
−
h(x)=\sum_{i\in\mathcal{E}}|c_i(x)|+\sum_{i\in\mathcal{I}}[c_i(x)]^-
h ( x ) = i ∈ E ∑ ∣ c i ( x ) ∣ + i ∈ I ∑ [ c i ( x ) ] −
D
(
h
(
x
^
)
;
p
)
≥
0
,
∀
p
∈
R
n
D(h(\hat{x});p)\ge0,\forall p\in\mathbb{R}^n
D ( h ( x ^ ) ; p ) ≥ 0 , ∀ p ∈ R n
h
h
h 不可行穩定點(infeasible stationary point) .
對於例2中的函數, 我們在
x
∗
=
1
x^*=1
x ∗ = 1
D
(
ϕ
1
(
x
∗
;
μ
)
;
p
)
=
{
p
,
p
≥
0
,
(
1
−
μ
)
p
,
p
<
0.
D(\phi_1(x^*;\mu);p)=\left\{\begin{array}{ll}p, & p\ge0,\\(1-\mu)p, & p<0.\end{array}\right.
D ( ϕ 1 ( x ∗ ; μ ) ; p ) = { p , ( 1 − μ ) p , p ≥ 0 , p < 0 .
μ
>
1
\mu>1
μ > 1
D
(
ϕ
1
(
x
∗
;
μ
)
;
p
)
≥
0
,
∀
p
∈
R
D(\phi_1(x^*;\mu);p)\ge0,\forall p\in\mathbb{R}
D ( ϕ 1 ( x ∗ ; μ ) ; p ) ≥ 0 , ∀ p ∈ R
下面的結論則在一定程度上彌補了定理3的不足, 即證明了反方向: 在一定條件下,
ϕ
1
(
x
;
μ
)
\phi_1(x;\mu)
ϕ 1 ( x ; μ )
定理4 設
x
^
\hat{x}
x ^
ϕ
1
(
x
;
μ
)
,
∀
μ
>
μ
^
>
0
\phi_1(x;\mu),\forall\mu>\hat{\mu}>0
ϕ 1 ( x ; μ ) , ∀ μ > μ ^ > 0
x
^
\hat{x}
x ^
證明: 若
x
^
\hat{x}
x ^
D
(
ϕ
1
(
x
^
;
μ
)
;
p
)
=
∇
f
(
x
^
)
T
p
+
μ
∑
i
∈
E
∣
∇
c
i
(
x
^
)
T
p
∣
+
μ
∑
i
∈
I
∩
A
(
x
^
)
[
∇
c
i
(
x
^
)
T
p
]
−
,
?
?
?
D(\phi_1(\hat{x};\mu);p)=\nabla f(\hat{x})^Tp+\mu\sum_{i\in\mathcal{E}}\left|\nabla c_i(\hat{x})^Tp\right|+\mu\sum_{i\in\mathcal{I}\cap\mathcal{A}(\hat{x})}\left[\nabla c_i(\hat{x})^Tp\right]^-,???
D ( ϕ 1 ( x ^ ; μ ) ; p ) = ∇ f ( x ^ ) T p + μ i ∈ E ∑ ∣ ∣ ∇ c i ( x ^ ) T p ∣ ∣ + μ i ∈ I ∩ A ( x ^ ) ∑ [ ∇ c i ( x ^ ) T p ] − , ? ? ?
A
(
x
^
)
\mathcal{A}(\hat{x})
A ( x ^ )
x
^
\hat{x}
x ^
F
(
x
^
)
\mathcal{F}(\hat{x})
F ( x ^ )
p
p
p
F
(
x
^
)
\mathcal{F}(\hat{x})
F ( x ^ )
∣
∇
c
i
(
x
^
)
T
p
∣
+
∑
i
∈
I
∩
A
(
x
^
)
[
∇
c
i
(
x
^
)
T
p
]
−
=
0
,
\left|\nabla c_i(\hat{x})^Tp\right|+\sum_{i\in\mathcal{I}\cap\mathcal{A}(\hat{x})}\left[\nabla c_i(\hat{x})^Tp\right]^-=0,
∣ ∣ ∇ c i ( x ^ ) T p ∣ ∣ + i ∈ I ∩ A ( x ^ ) ∑ [ ∇ c i ( x ^ ) T p ] − = 0 ,
0
≤
D
(
ϕ
1
(
x
^
;
μ
)
;
p
)
=
∇
f
(
x
^
)
T
p
,
∀
p
∈
F
(
x
^
)
.
0\le D(\phi_1(\hat{x};\mu);p)=\nabla f(\hat{x})^Tp,\quad\forall p\in\mathcal{F}(\hat{x}).
0 ≤ D ( ϕ 1 ( x ^ ; μ ) ; p ) = ∇ f ( x ^ ) T p , ∀ p ∈ F ( x ^ ) .
λ
^
i
:
λ
^
i
≥
0
,
i
∈
I
∩
A
(
x
^
)
\hat{\lambda}_i:\hat{\lambda}_i\ge0,i\in\mathcal{I}\cap\mathcal{A}(\hat{x})
λ ^ i : λ ^ i ≥ 0 , i ∈ I ∩ A ( x ^ )
∇
f
(
x
^
)
=
∑
i
∈
A
(
x
^
)
λ
^
i
∇
c
i
(
x
^
)
.
\nabla f(\hat{x})=\sum_{i\in\mathcal{A}(\hat{x})}\hat{\lambda}_i\nabla c_i(\hat{x}).
∇ f ( x ^ ) = i ∈ A ( x ^ ) ∑ λ ^ i ∇ c i ( x ^ ) .
x
^
\hat{x}
x ^
若
x
^
\hat{x}
x ^
p
p
p
D
(
h
(
x
^
)
;
p
)
<
0
D(h(\hat{x});p)<0
D ( h ( x ^ ) ; p ) < 0
0
≤
D
(
ϕ
1
(
x
^
;
μ
)
;
p
)
=
∇
f
(
x
^
)
T
p
+
μ
D
(
h
(
x
^
)
;
p
)
,
∀
μ
充
分
大
,
0\le D(\phi_1(\hat{x};\mu);p)=\nabla f(\hat{x})^Tp+\mu D(h(\hat{x});p),\forall\mu充分大,
0 ≤ D ( ϕ 1 ( x ^ ; μ ) ; p ) = ∇ f ( x ^ ) T p + μ D ( h ( x ^ ) ; p ) , ∀ μ 充 分 大 ,
∇
f
(
x
^
)
T
p
→
∞
\nabla f(\hat{x})^Tp\to\infty
∇ f ( x ^ ) T p → ∞
例3 再考慮例1中的問題, 這裏使用
l
1
l_1
l 1
ϕ
1
(
x
;
μ
)
=
x
1
+
x
2
+
μ
∣
x
1
2
+
x
2
2
−
2
∣
.
\phi_1(x;\mu)=x_1+x_2+\mu|x_1^2+x_2^2-2|.
ϕ 1 ( x ; μ ) = x 1 + ∀ μ 充 分 大 ,
∇
f
(
x
^
)
T
p
→
∞
\nabla f(\hat{x})^Tp\to\infty
∇ f ( x ^ ) T p → ∞
例3 再考慮例1中的問題, 這裏使用
l
1
l_1
l 1
ϕ
1
(
x
;
μ
)
=
x
1
+
x
2
+
μ
∣
x
1
2
+
x
2
2
−
2
∣
.
\phi_1(x;\mu)=x_1+x_2+\mu|x_1^2+x_2^2-2|.
ϕ 1 ( x ; μ ) = x 1 + x 2 + μ ∣ x 1 2 + x 2 2 − 2 ∣ .
ϕ
(
x
;
2
)
\phi(x;2)
ϕ ( x ; 2 )
x
∗
=
(
−
1
,
−
1
)
T
x^*=(-1,-1)^T
x ∗ = ( − 1 , − 1 ) T
事實上由定理3, 我們知道對於所有的
μ
>
∣
λ
∗
∣
=
0.5
\mu>|\lambda^*|=0.5
μ > ∣ λ ∗ ∣ = 0 . 5
