【高等代數】03 - 二次型和矩陣的分解

　　線性函數也是線性代數的重點知識，尤爲是雙線性函數，本質上定義了向量之間的二元運算。而後在非退化線性替換下，引出了矩陣的合同關係\(B=P'AP\)（記做\(A\cong B\)），相似於線性變換的標準型討論，這裏一樣須要討論合同關係下的等價類和標準型。對稱雙線性函數是最多見的向量運算，它的度量矩陣是對稱矩陣，利用初等變換和概括法，不難證實任何數域上的對稱矩陣都合同於一個對角矩陣。這個結論爲對稱矩陣的討論提供了很是便利的方法，而對於實對稱矩陣正交分解\(A=T^{-1}DT\)，更是完美地橫跨類似變換和等價變換兩個徹底不一樣的領域，這使得實對稱矩陣在線性代數中有着重要的位置。

1. 二次型

1.1 慣性指數

　　對角線上依次是\(1,-1,0\)的合同矩陣稱爲原矩陣的標準型，由初等變換易知復對稱矩陣\(A\)的標準型是\(\begin{bmatrix}I_r&0\\0&0\end{bmatrix}\)，其中\(r\)是\(A\)的秩。當\(A\)爲實對稱矩陣時，它的標準型則爲\(\text{diag}\{I_r,-I_s,0\}\)，其中\(r,s\)分別稱爲正（負）慣性指數。因爲慣性指數的惟一性，再結合對稱矩陣的正交變換\(T'DT\)，可知正負慣性指數分別是\(A\)正負特徵值的個數。這還說明了，類似變換不改變矩陣的慣性指數。

　　因爲慣性指數是合同對稱矩陣的「徹底不變量」，那麼對對稱雙線性函數的討論徹底能夠脫離精確的線性函數範疇。尤爲是其對稱性，使得更簡單經常使用的二次型即可以徹底表明原矩陣，而正（負）定矩陣的概念更是根據二次型的特色命名的。如今站在二次型的角度，看看慣性指數還有什麼特殊的意義。對二次型\(f(x_1,\cdots,x_n)\)，假設某個線性替換（不必定非退化）能夠把它變成形式（1）左，下面證實\(p\geqslant r,q\geqslant s\)。

\[f(x_1,\cdots,x_n)=z_1^2+\cdots+z_p^2-z_{p+1}^2-\cdots-z_{p+q}^2\;\Rightarrow\;p\geqslant r,q\geqslant s\tag{1}\]

　　另外設\(f(x_1,\cdots,x_n)\)標準型是\(y_1^2+\cdots+y_r^2-y_{r+1}^2-\cdots-y_{r+s}^2\)，以及\(HX=Z,GX=Y\)，則有\(HG^{-1}Y=Z\)。若是\(p<r\)，取\(Y=(y_1,\cdots,y_r,0,\cdots,0)'\)，並令\(Z\)的前\(p\)個元素爲\(0\)，則由\(p<r\)可知這樣的\(Y\ne 0\)是存在的。但這時\(f(Y)>0\)而\(f(Z)\leqslant 0\)，矛盾，這就證實了\(p\geqslant r\)，一樣能夠證實\(q\geqslant s\)。這個結論說明慣性指數是全部「標準型」中\(\pm 1\)個數最少的。

　　要知道實對稱矩陣的慣性指數，通常要計算全部特徵值，計算複雜度較高。參考下面的2.1段，可知順序主子式不爲\(0\)的矩陣，能夠有分解\(A=R'DR\)，其中\(R'\)爲對角全爲\(1\)的上三角矩陣，\(D\)爲對角非零的對角矩陣。且其中\(A\)的順序主子式和\(D\)的順序主子式徹底相同，而\(D\)的慣性指數顯然能夠由順序主子式徹底肯定，最終就是說\(A\)的慣性指數它的順序主子式徹底肯定。完整地講，若是\(A\)的順序主子式\(A_k\)都非零，則序列\(1,A_1,A_2,\cdots,A_n\)的變號次數就是\(A\)的負慣性指數，不變號次數就是正慣性指數。

1.2 （半）正定矩陣

　　正負慣性指數中有一項爲\(0\)時，二次型在全部非零向量上表現出明顯的符號特色（恆正、恆負、非正、非負），它們分別稱爲正定、負定、半負定、半正定，對應的矩陣也有相應的名稱。尤爲正定矩陣的恆正性，使得他很適合用來做爲向量的度量，來定義向量的範數和距離。另外，對這類矩陣（二次型）的討論有着很是實際的意義，因爲對稱性，這裏僅討論正定矩陣和半正定矩陣。

　　注意到正定矩陣合同於單位矩陣\(I\)，也就是說正定矩陣存在分解\(A=C'C\)，其中\(C\)可逆。也能夠換個說法，存在可逆矩陣\(C\)可把正定\(A\)對角化爲\(C'AC=I\)。對另外任意的實對稱矩陣\(B\)，\(C'BC\)仍然是實對稱矩陣，故存在實正交矩陣\(T\)，使得\(T'C'BCT=D=\text{diag}\{\mu_i\}\)。

　　設\(P=CT\)，則有結論：當\(A\)爲正定矩陣，\(B\)爲實對稱矩陣時，存在實可逆矩陣\(P\)使得\(P'AP=I,P'BP=D\)。這時容易有式（2）成立，當\(B\)是半正定矩陣時有\(\mu_i\geqslant 0\)，從而獲得\(|A+B|\geqslant|A|+|B|\)，其中等號成立的充要條件是\(B=0\)。

\[|A+B|=|P^{-1}|^2\prod_{i=1}^n(1+\mu_i);\;\;|A|+|B|=|P^{-1}|^2(1+\prod_{i=1}^n\mu_i)\tag{2}\]

　　如今考察正定矩陣\(A=\begin{bmatrix}B&C\\C'&D\end{bmatrix}\)，用初等變換可將它對角化爲\(\begin{bmatrix}B&0\\0&D-C'B^{-1}C\end{bmatrix}\)，從而\(B,D,D-C'B^{-1}C\)都是正定矩陣。另外一方面有式（3）左成立，再由剛纔的不等式可有式（3）右成立，從而對正定矩陣\(A\)，總有估計式\(|A|\leqslant\prod a_{ii}\)成立。

\[\begin{vmatrix}B&C\\C'&D\end{vmatrix}=|B||D-C'B^{-1}C|\leqslant|B||D|\tag{3}\]

1.3 斷定條件

　　正定（半正定）矩陣的典型特色就是，它的合同對角矩陣的對角元爲正數（非負），故它的行列式爲也爲正數（非負）。再從二次型的角度考察正定（半正定）矩陣\(A\)，它使得任意\(X'AX\)爲正數（非負）。取\(X\)爲某\(k\)個維度的向量（其它\(n-k\)個維度爲\(0\)），\(X'AX\)仍然是正定（半正定）的，其對應的行列式是\(A\)的一個主子式，這就證實了正定（半正定）矩陣的全部主子式爲正數（非負）。

　　反之，對全部主子式爲正數（非負）的實對稱矩陣\(A\)，若是它不是正定（半正定）的，則存在特徵值\(\lambda<0\)。如今來考察特徵多項式\(f(\lambda)\)，前面知道它的每一項是\((-1)^k\lambda^{n-k}B_k\)，其中\(B_k\)是\(A\)的全部\(k\)階主子式之和。因爲\(B_k\)不可能所有爲\(0\)（除非全\(0\)矩陣，而它是半正定的），故有\(f(\lambda)\ne 0\)，這與\(\lambda\)是特徵值矛盾，從而證實了逆命題也成立。

　　以上證實了正定（半正定）矩陣的充要條件是全部主子式爲正數（非負）。2.1節中還有結論：順序主子式皆非零的實對稱矩陣，它的慣性指數由順序主子式徹底肯定，從而對於正定矩陣而言，它的充要條件能夠弱化爲順序主子式皆爲正數。但要注意順序主子式皆非負，並非半正定的充分條件，最簡單的反例就是\(\begin{bmatrix}0&0\\0&-1\end{bmatrix}\)。

　　除了以上正定的充要條件，有時也能夠綜合正定矩陣的性質來斷定。正定矩陣的一個典型特色是它合同於單位矩陣\(I\)，由此它能夠分解爲\(P'P\)，其中\(P\)可逆。設\(A,B\)皆爲正定矩陣，來考察\(AB\)的正定的充要條件，首先必須得有\(AB\)對稱，由此能夠推出\(AB=BA\)。反之若是\(AB\)對稱，設\(A=CC'\)，其中\(C\)可逆，則\(C^{-1}ABC=C'BC\)。由\(B\)正定知\(C'BC\)正定，因此它的特徵值皆爲正，從而\(AB\)的特徵值也爲正，證得\(AB\)正定。

 　　再看一個複雜一點的狀況，假設\(A,B\)正定，考察矩陣\(C=\{a_{ij}b_{ij}\}\)。設\(B\)有正交分解\(T'DT\)，其中\(D=\text{diag}\{\mu_i\}\)，\(\mu_i>0\)是\(B\)的特徵向量。這樣可有\(b_{ij}=\sum\limits_k\mu_kt_{ki}t_{k_j}\)，這樣可有\(C=\sum\limits_k\mu_kC_k\)，其中\(C_k=[t_{ki}t_{kj}a_{ij}]\)。對任意列向量\(X\)，\(X’C_kX=\delta'_kA\delta_k\)，其中\(\delta_k=[t_{k1}x_1,\cdots,t_{kn}x_n]'\)。易知\(\delta_k\)不全爲\(0\)，從而\(X'CX=\sum\limits_k\mu_kX'C_kX>0\)，這就證實了\(C\)也是正定矩陣。

1.4 實可逆矩陣

　　前面提到，任何正定矩陣均可以分解爲\(C'C\)，其中\(C\)是實可逆矩陣。反之，對任意實矩陣\(C\)（不必定是方陣），來考察對稱矩陣\(C'C\)。設有\(C'C\alpha=\lambda\alpha\)，兩邊左乘\(\alpha'\)獲得\(|C\alpha|^2=\lambda|\alpha|^2\)，從而能夠獲得\(\lambda\geqslant 0\)。即\(C'C\)是半正定矩陣，尤爲當\(C'C\)可逆時，它仍是正定矩陣。

　　另外，若是令方陣\(C\)有特徵值\(\mu\)和特徵向量\(\alpha\)，則\(\alpha'C'C\alpha=\mu^2|\alpha|^2\)。再由上一篇式（18）可得\(\alpha'C'C\alpha\in[\lambda_1,\lambda_n]|\alpha|^2\)，其中\(\lambda_1,\lambda_n\)是\(C'C\)的最小（大）特徵值，從而\(\mu^2\in[\lambda_1,\lambda_n]\)。因爲\(C'C\)的特徵值非負，則能夠獲得估算式\(\sqrt{\lambda_1}\leqslant|\mu|\leqslant\sqrt{\lambda_n}\)。當\(C\)可逆時，因爲\(A=C'C\)爲正定矩陣，由1.2節的估計式可獲得\(|C|^2=|C'C|\leqslant \prod\limits_i a_{ii}\)，其中\(a_{ii}=\sum\limits_j c_{ji}^2\)，這就獲得式（4）的Hadamard不等式。

\[|C|\ne 0\;\Rightarrow\;|C|^2\leqslant \prod_{i=1}^n\sum_{j=1}^n c_{ij}^2\tag{4}\]

2. 矩陣的分解

　　矩陣的分解是矩陣計算的主要課題，它的任務是把通常性的矩陣分解爲一些特殊矩陣（對角矩陣、三角矩陣、正交矩陣等）的乘積、或特殊形式的乘積（類似、合同等）。這不只能幫助分析矩陣的本質，分解獲得的特殊矩陣還能便於計算、分析複雜的表達式。這裏再舉一些通常性的例子，在「矩陣計算」（也叫「矩陣分析」）這門課中，咱們會見到更普遍的應用。

2.1 初等矩陣分解

　　先來看一個基礎的，咱們知道任何可逆矩陣均可以經過初等變換變成\(I\)，這就是說能夠矩陣均可以分解爲一些初等矩陣的乘積（\(P(j,i(k)),P(i(k)),P(i,j)\)）。另外由式（5）可知，\(P(i,j)\)能夠由其它兩個初等矩陣表示，從而可逆矩陣均可以表示爲兩類初等矩陣之積（\(P(j,i(k)),P(i(k))\)）。其實不難發現，只用\(P(j,i(k))\)就能夠把\(A\)對角化，且除了最後一個\(a'_{nn}\)外均可以化爲\(1\)，也就是說\(P(i(k))\)只要在最後出現一下就能夠了。特別地，當\(|A|=1\)時，連最後這個\(P(n(1/|A|))\)都不須要，\(A\)能夠拆分爲若干\(P(j,i(k))\)之積。

\[P(i,j)=P(i,j(-1))P(j,i(1))P(i,j(-1))P(i(-1))\tag{5}\]

　　繼續增強以上條件，先假設\(a_{11}\ne 0\)，那麼能夠只用下三角的\(P(j,i(k))\)，將\(A\)的第一列的後\(n-1\)個數變成\(0\)。若是變換後的\(a'_{22}\ne 0\)，這個過程還能夠繼續下去，直到把\(A\)變成一個上三角矩陣\(U\)。注意到這樣的變換並不改變順序主子式的值，從而加入的一系列條件等價於\(A\)的全部順序主子式都不爲\(0\)。而根據全部\(P(j,i(k))\)變換特色，可知它們組合後的矩陣\(B\)是一個下三角矩陣，且對角線皆爲\(1\)。

　　結論能夠總結爲：若是\(A\)的全部順序主子式都不爲\(0\)，則存在下三角矩陣\(B\)和上三角矩陣\(U\)，使得\(BA=U\)。從而矩陣\(A\)有分解\(A=LU\)，其中\(L=B^{-1}\)爲對角全爲\(1\)的下三角矩陣（單位下三角矩陣），\(U\)是可逆上三角矩陣。知足條件的矩陣\(A\)顯然都存在LU分解，而且用反證法還可知這樣的分解是惟一的。設有兩個分解\(L_1U_1=L_2U_2\)，則有\(L_2^{-1}L_1=U_2U_1^{-1}\)。等式左邊是單位下三角矩陣，右邊爲上三角矩陣，從而等式爲單位矩陣，進而有\(L_1=L_2,U_1=U_2\)，故LU分解惟一。

　　當以上結論做用於有一樣性質（順序主子式非零）的對稱矩陣\(A\)時，一樣可獲得惟一分解\(A=LDL'\)，其中\(L\)同上、\(D\)爲可逆對角矩陣。這個結論在第一段中已經被使用過兩次，請再回頭品味它的應用。

　　關於初等變換，固然還有一個淺顯的結論值得一提。對於通常的矩陣\(A_{m\times n}\)，經過初等變換能夠把它變成\(\begin{bmatrix}I_r&0\\0&0\end{bmatrix}\)的形式。這就是說\(A_{m\times n}\)能夠分解爲\(P_m\begin{bmatrix}I_r&0\\0&0\end{bmatrix}Q_n\)，其中\(P,Q\)可逆、\(r\)爲\(A\)的秩。

2.2 正交分解

　　根據Schmidt正交化方法可知，任何可逆矩陣\(A\)均可以分解爲\(QR\)，其中\(Q\)爲正交矩陣、\(R\)爲上三角矩陣，這樣的分解稱爲QR分解。另外，假設存在兩個不一樣的分解\(Q_1R_1=Q_2R_2\)，則有\(Q_2^{-1}Q_1=R_1R_2^{-1}\)，等式左邊是正交矩陣，右邊爲上三角矩陣。而顯然三角正交矩陣只能是\(I\)，故有\(Q_1=Q_2,R_1=R_2\)，這說明QR分解是惟一的。其實對於通常的列滿矩陣\(A_{m\times n}\)，同樣能夠證實它有惟一分解\(Q_{m\times n}R_n\)，其中\(Q\)爲列滿秩矩陣，\(R\)爲上三角方陣。

　　對於任意復矩陣\(A\)，先找到任意特徵值\(\lambda\)及特徵向量\(\alpha\)，將\(\alpha\)單位化並開展爲正交基\(\{\eta_1,\cdots,\eta_n\}\)。考察正交矩陣\(T_0=[\eta_1,\cdots,\eta_n]\)下的正交變換\(B=T_0^{-1}AT_0\)，易知\(B\)有形式\(\begin{bmatrix}\lambda&\beta\\0&C\end{bmatrix}\)。利用概括法能夠證實，\(A\)正交類似於一個上三角矩陣\(U\)，即存在正交矩陣\(T\)使得\(A=T^{-1}UT\)。

　　對任意實矩陣\(A\)，若是假設它的特徵值都是實數，相似剛纔的推論能夠獲得相同的結論。這時若是再附加對稱的條件，則一樣證得\(A\)正交類似於對角矩陣。這是咱們熟悉的結論，這裏從另外一個視角再看到它。固然這個條件也能夠以其它形式給出，好比假設\(A'A=AA'\)（正規矩陣），能夠獲得\(UU'=U'U\)，依次對比等式兩邊的對角線可知\(U\)爲對角矩陣（從而\(A\)爲對稱矩陣）。

2.3 正定矩陣的分解

　　因爲實對稱矩陣能夠有正交變換\(A=T^{-1}DT\)，若是\(A\)正定，則能夠有拆分\(D=D_0^2\)，其中\(D_0=\text{diag}\{\sqrt{\lambda_i}\}\)。這樣就能夠說正定矩陣能夠有分解\(A=C^2\)，其中\(C\)爲正定矩陣。\(C=T^{-1}D_0T\)是顯然的一個分解（\(A=C^2\)），那它是否是惟一分解呢？設有兩種分解\(C_1=T_1^{-1}D_1T_1,C_2=T_2^{-1}D_2T_2\)，由\(C_1^2=C_2^2\)可得\(D_1^2S=SD_2^2\)，其中\(S=T_1T_2^{-1}\)爲正交矩陣。這樣就有\(d_{1i}^2s_{ij}=s_{ij}d_{2j}^2\)，無論怎樣都有\(d_{1i}s_{ij}=s_{ij}d_{2j}\)，從而\(D_1S=SD_2\)。再按原路返回便獲得\(C_1=C_2\)，分解的惟一性得證。

　　另外，當\(A\)爲實可逆矩陣時，\(A'A\)是正定矩陣，從而能夠有惟一分解\(A'A=S_1^2\)，其中\(S_1\)是正定矩陣。容易驗證\((A')^{-1}S_1\)是正交矩陣，從而存在分解\(A=TS_1\)，其中\(T\)爲正交矩陣。取\(S_2=TS_1T^{-1}\)，則有\(A=S_2T\)，其中\(S_2\)也是正定矩陣。另外不難證實\(S_1,S_2\)的惟一性，從而獲得極分解定理：實可逆矩陣有惟一分解\(A=TS_1=S_2T\)，其中\(T\)爲正交矩陣、\(S_1,S_2\)爲正定矩陣。進一步地，能夠將\(S_1\)進行正交分解，從而實可逆矩陣\(A\)有分解\(T_1DT_2\)，其中\(T_1,T_2\)爲正交矩陣、\(D=\text{diag}\{\sqrt{\lambda_i}\}\)（\(\lambda_i\)爲\(A'A\)特徵值）。

2.4 矩陣分解總結

　　如下式（6）~（11）總結了至今講到的重要矩陣分解，其中\(P\)是可逆矩陣、\(T,Q\)是正交矩陣、\(S\)爲正定矩陣、\(L\)爲對角線全爲\(1\)的下三角矩陣、\(U,R\)爲可逆上三角矩陣，\(\overset{*}{=}\)表示分解惟一。\(D\)爲對角矩陣，其中式（8）中\(D\)的對角元素爲全部特徵值，（11）式中\(D\)可逆。

\[|A|\ne 0\;\Rightarrow\; A\overset{*}{=}QR\overset{*}{=}TS_1\overset{*}{=}S_2T=T_1DT_2\tag{6}\]

\[A=A'\Rightarrow A=P'DP\tag{7}\]

\[A=A',A\in \mathbb{R}_{n\times n}\Rightarrow A=T'DT\tag{8}\]

\[A\cong I,A\in \mathbb{R}_{n\times n}\;\Rightarrow\;A=P'P\overset{*}{=}S^2\tag{9}\]

\[A_k=\begin{vmatrix}a_{11}&\cdots&a_{1k}\\\vdots&\ddots&\vdots\\a_{k1}&\cdots&a_{kk}\end{vmatrix}\ne 0,(k=1,\cdots,n)\;\Rightarrow\; A\overset{*}{=}LU\tag{10}\]

\[A=A',A_k\ne 0\;\Rightarrow\;A=LDL'\tag{11}\]