MIT線性代數公開課學習筆記第21~25課

二11、特徵值和特徵向量

一、特徵值和特徵向量的定義、求解

給出\(n\)階方陣\(A\)，若存在\(n\)維列向量\(x\)和標量\(\lambda\)，有\(Ax=\lambda x\)，則\(x\)是\(A\)的一個特徵向量，\(\lambda\)是\(A\)對應於特徵向量\(x\)的特徵值。

須要注意的是，特徵向量必定是非零向量，但特徵值能夠爲0(能夠爲實數，也能夠爲虛數、複數)

國內線代教材都有特徵值和特徵向量的求解方法，這裏再也不贅述

二、特徵值和特徵向量的幾何意義

對於\(Ax=\lambda x\)，\(Ax\)能夠視爲對向量\(x\)的一個線性變換，則該式代表\(x\)經線性變換\(A\)後獲得的\(Ax\)仍與\(x\)共線，且\(Ax\)是\(x\)數乘標量\(\lambda\)後獲得的向量

對於某矩陣\(A\)而言，設\(C(A)\)空間對應的投影矩陣爲\(P\)，則:

• (1)\(\forall x\in C(A)\)，由於\(x\)在該空間內，因此\(Px=x\)，\(x\)是一個特徵向量，對應於其的特徵值爲1

• (2)\(\forall x\perp C(A)\)，由於\(x\)垂直於該空間，因此\(Px=0\)，則\(x\)是一個特徵向量，其特徵值爲0

二12、對角化和A的冪

一、方陣對角化

對於n階方陣A而言，若它有n個線性無關的特徵向量，則它能夠被可逆陣\(P\)對角化爲對角陣\(\Lambda=P^{-1}AP\)

若這n個線性無關的特徵向量\(x_1\cdots x_n\)對應的特徵值爲\(\lambda_1\cdots \lambda_n\)，令\(P=(x_1,x_2,\cdots, x_n)\)，\(\Lambda=\mathrm{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n)\)，則\(AP=(Ax_1,Ax_2,\cdots,Ax_n)=(\lambda_1x_1,\lambda_2x_2,\cdots,\lambda_nx_n)=P\Lambda\)

將上式左右兩邊同時左乘\(P^{-1}\)，得\(P^{-1}AP=\Lambda\)

二、利用對角化快速求方陣的冪

若n階方陣A能夠對角化，則\(A=P\Lambda P^{-1}\)，\(A^n=P\Lambda ^n P^{-1}\)，因爲求\(\Lambda ^n\)只須要求每一個主對角元的n次方，所以這一方法求A的冪速度更快

三、利用對角化快速求解差分方程

A爲n階方陣，\(u_i\)均爲n維列向量，\(u_{i+1}=Au_i\)，現已知A、\(u_0\)，求解\(u_k\)

\(u_k=Au_{k-1}=\cdots=A^ku_0\)

若A能夠對角化，則\(A=P\Lambda P^{-1}\)，\(u_k=A^k u_0=P\Lambda ^k P^{-1}u_0\)

首先將\(u_0\)分解爲n個線性無關的特徵向量(因爲\(\mathrm{dim}C(P)=n,C(P)=\mathbb{R}^n\)，所以顯然\(u_0\)能夠用它們線性表示)，令\(u_0=c_1x_1+\cdots+c_nx_n\)，即

\[u_0=(x_1,\cdots,x_n)\begin{pmatrix}c_1\\c_2\\\vdots\\c_n\end{pmatrix}=Pc\]

\[c=P^{-1}u_0\]

則\(u_k=P\Lambda^kc=\lambda_1^kc_1x_1+\cdots+\lambda_n^kc_nx_n\)

四、利用對角化快速計算斐波那契數列

斐波那契數列：

\[F(0)=0,F(1)=1,F(n)=F(n-1)+F(n-2)\ (n\geq 2)\]

令\(u_k=\begin{pmatrix}F_{k+1}\\F_k\end{pmatrix}\)

再構造以下差分方程組：

\[\begin{cases} F(k+2)=F(k+1)+F(k)\\ F(k+1)=F(k+1) \end{cases}\]

因而有\(u_{k+1}=Au_k\)，其中\(A=\begin{pmatrix}1 & 1\\1 & 0\end{pmatrix}\)

而後用(3)中的差分方程求解方法快速求解便可

因爲這裏A的特徵值均大於1，所以\(\Lambda ^k\)中的元素將不斷增加，從而可見該數列不是收斂的

二十3、微分方程和\(e^At\)

一、一階微分方程

\(u=(u_1,u_2)^T\)爲2維列向量，其中每一個元素表明一個關於\(t\)的函數\(u_i(t)\),已知\(u(0)\)的值

微分方程

\[\begin{cases} \frac{du_1(t)}{dt}=c_{1,1}u_1+c_{1,2}u_2\\ \frac{du_2(t)}{dt}=c_{2,1}u_1+c_{2,2}u_2 \end{cases}\]

能夠表示爲：

\[\frac{du}{dt}=Au\]

其中A是上述方程組的係數矩陣

設A的兩個特徵值分別爲\(\lambda_1,\lambda_2\),相對應的二維特徵向量分別爲\(x_1,x_2\)

最終解的形式爲：\(u=c_1e^{\lambda_1t}x_1+c_2e^{\lambda_2t}x_2\)

將\(t=0,u(0)\)代入上式：

\[u(0)=c_1x_1+c_2x_2\]

這是一個只有惟一解的線性方程組，能夠直接解出\(c_1,c_2\)

對於\(e^{a+bi}\)而言，\(|e^{a+bi}|=|e^a||e^{bi}|=e^a|cos(b)+isin(b)|=e^a\)(由於\(|cos(b)+isin(b)|=cos^2b+sin^2b=1\))

因此當\(\mathrm{Re}\lambda_1,\mathrm{Re}\lambda_2<0\)時，顯然\(t\to +\infty\)時\(|e^{\lambda_1 t}|,|e^{\lambda_2 t}|\to 0\),則\(u(t)\to 0\)，此時稱函數能夠達到穩定性

當\(\mathrm{Re}\lambda_1,\mathrm{Re}\lambda_2\)中至少一個爲0(不妨設\(\lambda_1=0\))，其他小於0時(不妨設\(\lambda_2<0\))，顯然\(t\to +\infty\)時\(|e^{\lambda_1 t}|\to 1,|e^{\lambda_2 t}|\to 0\),則\(u(t)\to 0\)，此時稱函數能夠達到穩態

當\(\mathrm{Re}\lambda_1,\mathrm{Re}\lambda_2\)中至少一個大於0(不妨設\(\lambda_1>0\))，顯然\(t\to +\infty\)時\(|e^{\lambda_1 t}|\to +\infty\),則\(u(t)\to +\infty\)，此時稱函數是發散的

這裏咱們能夠經過二階矩陣A的跡、行列式的值判斷函數是否能夠達到穩態。\(\mathrm{tr}(A)=\lambda_1+\lambda_2<0,\mathrm{det}(A)=\lambda_1\lambda_2>0\)時顯然\(\lambda_1<0,\lambda_2<0\)，則此時對應的函數\(u\)能夠達到穩態

二、指數矩陣

A爲n階方陣，則其對應的指數矩陣爲：

\[e^{At}\]

同通常的函數同樣，指數矩陣也能夠泰勒展開爲：

\[e^{At}=I+At+\frac{(At)^2}{2!}+\frac{(At)^2}{3!}+\cdots+\frac{(At)^n}{n!}+\cdots\]

該級數總會收斂於某個值

當A可對角化爲\(\Lambda=P^{-1}AP=\mathrm{diag}(\lambda_1,\cdots,\lambda_n)\)時，\(e^{At}=Pe^{\Lambda t}P^{-1}\)，證實以下：

\[e^{At}=I+At+\frac{(At)^2}{2!}+\frac{(At)^2}{3!}+\cdots+\frac{(At)^n}{n!}+\cdots\]

\[e^{At}=PP^{-1}+P\Lambda P^{-1}t+\frac{P\Lambda^2 P^{-1}}{2!}t^2+\frac{P\Lambda^3 P^{-1}}{3!}t^3+\cdots+\frac{P\Lambda^n P^{-1}}{n!}t^n+\cdots\]

\[e^{\Lambda t}=I+\Lambda t+\frac{\Lambda^2}{2!}t^2+\frac{\Lambda^3}{3!}t^3+\cdots+\frac{\Lambda^n}{n!}t^n+\cdots\]

因此有：

\[Pe^{\Lambda t}P^{-1}=e^{At}\]

實際上\(e^{\Lambda t}=\mathrm{diag}(e^{\lambda_1 t},\cdots,e^{\lambda_n t})\)，因此當A的n個特徵值的實部都小於0時，\(e^{\Lambda t}\to 0(t\to +\infty)\)

三、微分方程的推廣

對於更高階的微分方程，如5階微分方程

\[y^{(5)}+by^{(4)}+cy^{(3)}+dy''+ey'+fy=0\]

咱們能夠構造以下方程組：

\[\begin{cases} y^{(5)}+by^{(4)}+cy^{(3)}+dy''+ey'+fy=0\\ y^{(4)}=y^{(4)}\\ y^{(3)}=y^{(3)}\\ y''=y''\\ y'=y' \end{cases}\]

則對應的向量和矩陣：

\[ \begin{pmatrix} y^{(5)}\\ y^{(4)}\\ y^{(3)}\\ y''\\ y' \end{pmatrix}= \begin{pmatrix} -b & -c & -d & -e & -f\\ 1 & 0 & 0 & 0 & 0\\ 0 & 1 & 0 & 0 & 0\\ 0 & 0 & 1 & 0 & 0\\ 0 & 0 & 0 & 1 & 0 \end{pmatrix} \begin{pmatrix} y^{(4)}\\ y^{(3)}\\ y''\\ y'\\ y \end{pmatrix} \]

而後再類比2中的方法便可解出該方程

二十4、馬爾可夫矩陣,傅立葉級數

一、馬爾可夫矩陣

馬爾可夫矩陣(Markov matrix)是一個與機率有關的n階方陣，其中每一個元素均非負，且每一列的元素之和等於1

馬爾可夫矩陣性質1：必定有特徵值等於1

• 證實：對於一個馬爾可夫矩陣A而言，\(I-A\)每一列元素之和均爲0，可見\((I-A)^T\)每一行元素之和均爲0，取\(x=(1,\cdots,1)^T\)，則\(x\in N((I-A)^T)\)，即\((I-A)^Tx=0\)有非零解，因此\(\mathrm{det}((I-A)^T)=0\)，從而\(\mathrm{det}(I-A)=0\)，因此A一定有一個特徵值等於1

馬爾可夫矩陣性質2：其他特徵值的模均小於1

• 證實涉及Gershgorin圓盤定理，很是複雜，這裏略去

這兩條性質決定了馬爾可夫矩陣A能夠對角化時(不妨設其特徵值\(\lambda_1=1\),其他小於1)

\(u_k=A^ku_0=P\Lambda^kc=\lambda_1^kc_1x_1+\cdots+\lambda_n^kc_nx_n\)

當\(k\to +\infty\)時\(\lambda_2^k,\cdots,\lambda_n^k \to 0\)，\(u_k\to c_1x_1\)，最終將達到一個穩態

二、馬爾可夫矩陣的應用

人口遷移問題：只考慮麻省人口\(u_m\)和加州人口\(u_c\)之間的遷移。每一年加州有10%的人口遷往麻省，麻省有20%的人口遷往加州。

將最初加州和麻省的人口狀況用一個二維列向量\(u_0\)表示：

\[u_0=\begin{pmatrix}u_c\\ u_m\end{pmatrix}=\begin{pmatrix}0\\ 1000\end{pmatrix}\]

設通過k年後加州和麻省的人口爲二維列向量\(u_k\)，則：

\[u_{k+1}=\begin{pmatrix} 0.9 & 0.2\\ 0.1 & 0.8 \end{pmatrix}u_k\]

這裏的矩陣

\[A=\begin{pmatrix} 0.9 & 0.2\\ 0.1 & 0.8 \end{pmatrix}\]

其特徵值、特徵向量分別爲\(\lambda_1=1,x_1=(2,1)^T\)；\(\lambda_2=0.7,x_2=(-1,1)^T\)

再把已知的\(u_0\)代入\(u_k=A^ku_0=P\Lambda^kc=\lambda_1^kc_1x_1+\lambda_2^kc_2x_2\)得\(c_1=\frac{1000}{3},c_2=\frac{2000}{3}\)

三、傅里葉級數

3.1 預備知識

n維列向量\(v\)在一組標準正交基\(q_1,\cdots,q_n\)上的投影\((x_1,\cdots,x_n)\)能夠表示爲\(v=x_1q_1+\cdots+x_nq_n\)，在求解\(x_i\)，等式左右同時左乘\(q_i^T\)：

\(q_i^Tv=x_1q_i^Tq_1+\cdots+x_nq_i^Tq_n=x_iq_i^Tq_i=x_i\)

若令\(Q=(q_1,\cdots,q_n)\)，則\(Q\)是一個正交矩陣，

\[v=x_1q_1+\cdots+x_nq_n=Q(x_1,\cdots,x_n)^T\]

則\((x_1,\cdots,x_n)^T=Q^{-1}v=Q^Tv\)

3.2 傅里葉級數

函數\(f(x)\)的傅里葉級數(Fourier series)是一個無窮級數：

\[f(x)=a_0+a_1cosx+b_1sinx+a_2cos2x+b_2sin2x+\cdots\]

這裏的空間中每一個元素爲一個函數，兩個函數的內積被定義爲\(\int_0^{2\pi}f(x)g(x)dx\)

與向量空間不一樣，這裏的空間是無限維的，但\(sinx,cosx,sin2x,cos2x,\cdots\)之間是相互正交的。如\(sinx\cdot cosx=\int_0^{2\pi}sin(x)cos(x)dx=0\)

所以這裏咱們也能夠經過相似的方式求解\(a_i,b_i\)，即把\(f(x)\)投影到一系列相互正交的函數上，如對等式兩邊同時內積\(cosx\)：

\[\int_0^{2\pi}cos(x)f(x)dx=a_0\int_0^{2\pi}cos(x)dx+a_1\int_0^{2\pi}cos^2(x)dx+b_1\int_0^{2\pi}sin(x)cos(x)dx+\cdots\]

得：

\[\int_0^{2\pi}cos(x)f(x)dx=a_1\pi\]

因此\(a_1=\frac{1}{\pi}\int_0^{2\pi}cos(x)f(x)dx\)