[矩陣的三角分解系列一] 高斯消元法

高斯消元法

• 簡介
• 高斯消元過程
• 高斯消元條件判斷
• • 條件說明
  • 證實
• 示例
• 引用

矩陣的三角分解是求解線性方程組經常使用的方法，包括LU分解，LDU分解，杜利特(Doolittle)分解，克勞特(Crout)分解，LLT(喬累斯基Cholesky)分解，LDLT(不帶平方根喬累斯基)分解等，以及爲了知足分解條件又加入行列變換的LPU分解，PLU分解，LUP分解，LDPU分解等。這裏矩陣的三角分解系列教程主要是針對在學習三角分解時候的涉及到的一些細節，包括不少方法的來源和證實等，以及其中用到的一些矩陣操做的基礎知識，主要包括：

• [矩陣的三角分解系列一] 高斯消元法
• [矩陣的三角分解系列二] LDU基本定理
• [矩陣的三角分解系列三] 杜利特/克勞特分解公式
• [矩陣的三角分解系列四] 喬累斯基(Cholesky)分解公式
• [矩陣的三角分解系列五] 三角分解中的行列變換
• [矩陣的三角分解系列六] Eigen中的三角分解

這個系列後面文章會用到前面文章的理論和技術，因此建議按照順序查看。

簡介

這裏講解高斯消元法的主要是以矩陣語言來描述高斯消元這個過程，而後主要是爲後面的矩陣的三角分解打下基礎。矩陣的三角分解推導以及證實的過程須要依賴高斯消元的理論基礎。
具體來講高斯消元法的基本思想就是利用矩陣的初等行變換把求解$\mathbf{A}\mathbf{x}=\mathbf{b}$中的矩陣$\mathbf{A}$轉成上三角矩陣，須要注意這裏講解矩陣變換過程當中不會利用到矩陣行交換。

矩陣行交換後面某些文章中會講到，由於矩陣$\mathbf{A}$的三角分解須要矩陣知足必定的條件，若是條件不知足，能夠考慮交換矩陣$\mathbf{A}$的兩行，固然這個行變換後也再也不是矩陣$\mathbf{A}$了。這樣對於處理解線性方程組來講，至關於調整方程的順序，對解不產生影響，可是能夠使三角分解進行下去。

高斯消元過程

設$n$元線性方程組爲
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1,\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2,\\ ⋮\\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n,\end{array}\text{\hspace{1em}(1)}$$
轉出矩陣表示爲
$$\mathbf{A}\mathbf{x}=\mathbf{b}\text{\hspace{1em}(2)}$$
其中
$$\mathbf{A}=(a_{ij}{)}_{n\times n},\mathbf{x}=(x_1,x_2,\dots ,x_n{)}^{\mathrm{T}},\mathbf{b}=(b_1,b_2,\cdots ,b_n{)}^{\mathrm{T}}.$$
對$\mathbf{A}$進行高斯消元的主要過程

1. 未進行高斯消元時
   $${\mathbf{A}}^{(1)}=\mathbf{A}＝\left[\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}\\ a_{21}^{(1)}& a_{22}^{(1)}& \cdots & a_{2n}^{(1)}\\ ⋮& ⋮& & ⋮\\ a_{n1}^{(1)}& a_{n2}^{(1)}& \cdots & a_{nn}^{(1)}\end{array}\right]\text{\hspace{1em}(3)}$$
   其中右上角括號內的標號表示進行$i$次高斯消元后改變的值。
2. 若是矩陣${\mathbf{A}}^{(1)}$的主元素$a_{11}^{(1)}\ne 0$，那麼從第2行到第n行能夠減去$a_{i1}^{(1)}/a_{11}^{(1)}$其中$i=2,3,\cdots ,n$，這樣操做的目的是把${\mathbf{A}}^{(1)}$第1列上從第2個到第n個元素所有變爲0。可得
   $${\mathbf{A}}^{(2)}＝\left[\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}\\ 0& a_{22}^{(2)}& \cdots & a_{2n}^{(2)}\\ ⋮& ⋮& & ⋮\\ 0& a_{n2}^{(2)}& \cdots & a_{nn}^{(2)}\end{array}\right]$$
   其中右上角括號變爲2的那些元素以及上面提到的變爲0的那些元素是此次高斯消元操做變化的那些元素。
   若是
   $$\begin{array}{rl}{l}_{i1}& =a_{i1}^{(1)}/a_{11}^{(1)},\\ a_{ij}^{(2)}& =a_{ij}^{(1)}-l_{i1}{a}_{1j}^{(1)},i,j=2,3,\cdots ,n,\end{array}$$
   一共須要進行$n-1$次的倍加初等變換，至關於${\mathbf{A}}^{(1)}$左乘$n-1$個倍加陣
   $$\begin{array}{rl}{\mathbf{A}}^{(2)}& =\mathbf{I}(1,n(-l_{n1}))\cdots \mathbf{I}(1,n(-l_{21})){\mathbf{A}}^{(1)}.\\ {\mathbf{L}}^{(1)}& =\mathbf{I}(1,n(-l_{n1}))\cdots \mathbf{I}(1,n(-l_{21}))\\ & =\left[\begin{array}{cccc}1& & & \\ -l_{21}& 1& & \\ ⋮& & \ddots & \\ -l_{n1}& & & 1\end{array}\right]=\left[\begin{array}{cccc}1& & & \\ -\frac{a_{21}^{(1)}}{a_{11}^{(1)}}& 1& & \\ ⋮& & \ddots & \\ -\frac{a_{n1}^{(1)}}{a_{11}^{(1)}}& & & 1\end{array}\right]\end{array}.\text{\hspace{1em}(4)}$$
   因此
   $${\mathbf{A}}^{(2)}={\mathbf{L}}^{(1)}{\mathbf{A}}^{(1)}=\left[\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}\\ 0& a_{22}^{(2)}& \cdots & a_{2n}^{(2)}\\ ⋮& ⋮& & ⋮\\ 0& a_{n2}^{(2)}& \cdots & a_{nn}^{(2)}\end{array}\right].\text{\hspace{1em}(5)}$$
   從上面過程能夠看出來，${\mathbf{A}}^{(1)}=\mathbf{A}$的第1列除主元素$a_{11}^{(1)}$外，其他元素所有被化爲了零，上面公式$(4)$被稱爲消元矩陣。
3. 同理，若是矩陣${\mathbf{A}}^{(2)}$的主元素$a_{22}^{(2)}\ne 0$，那麼從第3行到第n行能夠減去$a_{i2}^{(2)}/a_{22}^{(2)}$其中$i=3,4,\cdots ,n$，這樣操做的目的是把${\mathbf{A}}^{(2)}$第2列上從第3個到第n個元素所有變爲0。可得消元矩陣爲
   $$\begin{array}{r}{\mathbf{L}}^{(2)}=\left[\begin{array}{ccccc}1& & & & \\ & 1& & & \\ & -l_{32}& 1& & \\ & ⋮& & \ddots & \\ & -l_{n2}& & & 1\end{array}\right]=\left[\begin{array}{ccccc}1& & & & \\ & 1& & & \\ & -\frac{a_{32}^{(2)}}{a_{22}^{(2)}}& 1& & \\ & ⋮& & \ddots & \\ & -\frac{a_{n2}^{(2)}}{a_{22}^{(2)}}& & & 1\end{array}\right]\end{array}.\text{\hspace{1em}(6)}$$
   其中
   $$l_{i2}=a_{i2}^{(2)}/a_{22}^{(2)},i=3,4,\cdots ,n,$$
   因此
   $${\mathbf{A}}^{(3)}={\mathbf{L}}^{(2)}{\mathbf{A}}^{(2)}=\left[\begin{array}{ccccc}{a}_{11}^{(1)}& a_{12}^{(1)}& a_{13}^{(1)}& \cdots & a_{1n}^{(1)}\\ & a_{22}^{(2)}& a_{23}^{(2)}& \cdots & a_{2n}^{(2)}\\ & & a_{33}^{(3)}& \cdots & a_{3n}^{(3)}\\ & & ⋮& & ⋮\\ & & a_{n3}^{(3)}& \cdots & a_{nn}^{(3)}\end{array}\right].\text{\hspace{1em}(7)}$$
4. 若是相似的過程操做$n-1$次後，就能夠將原來的矩陣$\mathbf{A}$轉換成上三角矩陣
   $${\mathbf{A}}^{(\mathbf{n})}={\mathbf{L}}^{(\mathbf{n}-1)}\cdots {\mathbf{L}}^{(2)}{\mathbf{L}}^{(1)}{\mathbf{A}}^{(1)}=\left[\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1n}^{(1)}\\ & a_{22}^{(2)}& \cdots & a_{2n}^{(2)}\\ & & \ddots & ⋮\\ & & & a_{nn}^{(n)}\end{array}\right].\text{\hspace{1em}(8)}$$
   上面就是高斯消元過程。

高斯消元條件判斷

條件說明

個上面描述了整個高斯消元的主要過程，在其中$n-1$的每次消元的過程當中，都須要知足${\mathbf{A}}^{(\mathbf{i})}$的主元素，也就是$a_{11}^{(1)},a_{22}^{(2)},\cdots ,a_{n-1,n-1}^{(n-1)}$都不能爲零，不然高斯消元過程不能正常完成。
這些主元素都是高斯消元過程當中的中間結果，須要提早判斷是否知足高斯消元的條件才能決定是否執行高斯消元操做，而不是執行過程當中才發現高斯消元過程進行不下去了。
首先定義$n$階矩陣$\mathbf{A}$的前$n-1$個順序主子式(第$i$個順序主子式也就是原矩陣的左上角$i$階方陣的行列式)
$$\begin{array}{rl}{\Delta }_1& =a_{11},\\ {\Delta }_2& =\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|,\\ ⋮& \\ {\Delta }_{n-1}& =\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{12}\\ ⋮& & ⋮\\ a_{n-1,1}& \cdots & a_{n-1,n-1}\end{array}\right|.\end{array}\text{\hspace{1em}(9)}$$
基於上面的定義，能夠獲得一個結論能說明在矩陣知足什麼條件下才能正確的完成整個高斯消元過程（在不進行行變換的基礎上）。
定理一
當${\Delta }_1,{\Delta }_2,\cdots ,{\Delta }_{n-1}$都不爲零時，則$a_{kk}^{(k)}\ne 0(k-1,2,\cdots ,n-1)$。
定理二
高斯消元過程可以進行到底的充分必要條件是$\mathbf{A}$的前$n-1$個順序主子式都不爲零，即${\Delta }_k\ne 0(k=1,2,\cdots ,n-1)$。

上面的定理表示若是要對一個矩陣進行高斯消元，經過計算原始矩陣的前$n-1$個順序主子式就能夠判斷是否該矩陣完成整個高斯消元過程。

證實

這一步證實上面的當${\Delta }_1,{\Delta }_2,\cdots ,{\Delta }_{n-1}$都不爲零能夠推導出$a_{kk}^{(k)}\ne 0(k-1,2,\cdots ,n-1)$的結論。
這裏用數學概括法來證實。

1. ${\Delta }_1=a_{11}=a_{11}^{(1)}$，顯然當${\Delta }_1\ne 0$，$a_{11}^{(1)}\ne 0$。
2. 而後假設階數爲$k-1$時成立，由概括法假設知$a_{ii}^{(i)}\ne 0(i=1,2,\cdots ,k-1)$，根據前面的消元過程
   $${\mathbf{A}}^{(\mathbf{k})}={\mathbf{L}}^{(\mathbf{k}-1)}\cdots {\mathbf{L}}^{(2)}{\mathbf{L}}^{(1)}\mathbf{A}=\left[\begin{array}{ccccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & \cdots & a_{1n}^{(1)}\\ & a_{22}^{(2)}& \cdots & \cdots & a_{2n}^{(2)}\\ & \ddots & ⋮& & ⋮\\ & & a_{kk}^{(k)}& \cdots & a_{kn}^{(k)}\\ & & ⋮& & ⋮\\ & & a_{n3}^{(k)}& \cdots & a_{nn}^{(k)}\end{array}\right].$$
   在進行高斯消元過程當中進行的倍加初等變換不改變矩陣$\mathbf{A}$的行列式的值，因此從上面${\mathbf{A}}^{(\mathbf{k})}$的形狀可知，矩陣$\mathbf{A}$的前$n-1$個順序主子式知足下面關係
   $$\begin{array}{rl}{\Delta }_1& =a_{11}=a_{11}^{(1)},\\ {\Delta }_2& =\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=\left|\begin{array}{cc}{a}_{11}^{(1)}& a_{12}^{(1)}\\ 0& a_{22}^{(2)}\end{array}\right|=a_{11}^{(1)}{a}_{22}^{(2)},\\ ⋮& \\ {\Delta }_k& =\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{12}\\ ⋮& & ⋮\\ a_{k,1}& \cdots & a_{k,k}\end{array}\right|=\left|\begin{array}{cccc}{a}_{11}^{(1)}& a_{12}^{(1)}& \cdots & a_{1k}^{(1)}\\ & a_{22}^{(2)}& \cdots & a_{2k}^{(2)}\\ & & \ddots & ⋮\\ & & & a_{kk}^{(k)}\end{array}\right|=a_{11}^{(1)}{a}_{22}^{(2)}\cdots a_{kk}^{(k)}.\end{array}\text{\hspace{1em}(10)}$$
   根據假設已知${\Delta }_i\ne 0$同時$a_{ii}^{(i)}\ne 0(i=1,2,\cdots ,k-1)$，同時又有公式$(10)$可知$a_{kk}^{(k)}\ne 0$，則對$k$階矩陣也成立。
   證實完成！！！

示例

三階矩陣
$$\mathbf{A}=\left[\begin{array}{ccc}1& 2& 3\\ 4& 10& 15\\ 6& 18& 30\end{array}\right].$$
根據上面的過程可知
$$\{\begin{array}{l}{\Delta }_1=1\\ {\Delta }_2=2\end{array}$$
知足上面的定理二，該矩陣的高斯消元過程可以進行到底。
根據高斯消元過程得
$$\begin{array}{r}\{\begin{array}{ll}{\mathbf{A}}^{(1)}=\mathbf{A}& =\left[\begin{array}{ccc}1& 2& 3\\ 4& 10& 15\\ 6& 18& 30\end{array}\right],\\ & \\ {\mathbf{A}}^{(2)}& =\left[\begin{array}{ccc}1& 2& 3\\ & 2& 3\\ & 6& 12\end{array}\right],\\ & \\ {\mathbf{A}}^{(3)}& =\left[\begin{array}{ccc}1& 2& 3\\ & 2& 3\\ & & 3\end{array}\right].\end{array}\end{array}$$

引用

【1】 矩陣論(第二版)

本文同步分享在 博客「無比機智的永哥」（CSDN）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。