MIT線性代數公開課學習筆記第16~20課

十6、投影矩陣和最小二乘

給出\(n\)組\(m-1\)個自變量的數據點(用\(n\times m\)大小的矩陣\(A\)表示，其中第一列均爲1，表明常數項)，以及它們的真實取值(用n維列向量\(b\)表示)，如今須要用一個\(m-1\)元未知數的線性方程來擬合這組數據點。能夠用非齊次線性方程組\(AX=b\)表示。

通常來講這個方程組是無解的，即\(b\notin C(A)\)，咱們須要找到一個近似的\(\hat b,\hat X\)，使得\(A\hat X=\hat b\)。其中\(b_i\)是第\(i\)個數據點的真實取值，\(\hat b_i\)是第\(i\)個數據點經過擬合直線的近似取值，以下圖所示：

在第十五課已經講過，最小二乘法的損失函數是均方差函數，即：

\[\mathrm{minimize}\ \ \sum_{i=1}^m(b_i-\hat b_i)^2\]

換言之：

\[\mathrm{minimize}\ \ \|b-\hat b\|^2\]

爲直觀起見，這裏的\(\mathrm{dim}C(A)=2\)，則\(b\)投影到\(C(A)\)上的向量\(\hat b\)如圖所示，顯然\(e=b-\hat b,e\perp C(A)\)，所以此時\(\|e\|=\|b-\hat b\|\)是最小的。

根據第十五節的知識，咱們能夠令投影矩陣\(P=A(A^TA)^{-1}A^T\)，則：

\[\hat b=Pb=A(A^TA)^{-1}A^Tb\]

\[A\hat X=\hat b\]

上式左右同時左乘\(A^T\)：

\[A^TA\hat X=A^TA(A^TA)^{-1}A^Tb=A^Tb\]

根據這個非齊次線性方程組即可以解出\(\hat X\)，也就能獲得這個擬合的直線方程了。

十7、正交矩陣和Gram-Schmidt正交化

正交矩陣和Gram-Schmidt正交化在國內的各種線代教材中都有出現，這裏不作過多贅述。

這裏值得一提的是，前\(t-1\)個線性無關向量\(\alpha_1\cdots \alpha_{t-1}\)已正交化爲\(\beta_1\cdots \beta_{t-1}\)，正交化第\(t\)個向量\(\alpha t\)的過程，就是將其投射到\(C(\beta_1\cdots \beta_{t-1})\)這個空間中，而後得到偏差向量的過程。

如上圖，若已得到兩個正交化的向量\(\beta_1,\beta_2\)，則首先將\(\alpha_3\)投射到\(C(\beta_1,\beta_2)\)獲得\(\mathrm{Prj}_{C(\beta_1,\beta_2)}\alpha_3\)

則

\[\beta_3=\alpha_3-\mathrm{Prj}_{C(\beta_1,\beta_2)}\alpha_3=\alpha_3-\mathrm{Prj}_{\beta_1}\alpha_3-\mathrm{Prj}_{\beta_2}\alpha_3\]

由十五課的投影相關的內容可得

\[\beta_3=\alpha_3-(\alpha_3,\beta_1)\frac{\beta_1}{\|\beta_1\|}-(\alpha_3,\beta_2)\frac{\beta_2}{\|\beta_2\|}\]

十8、行列式性質

國內線代教材包含了此課中的全部內容，此處不做過多贅述。

十9、行列式公式

根據行列式的性質，將三階行列式按第一行拆分，以下圖：

而後對每一個行列式，將其按第二行拆分，以此類推，最終能夠獲得：

相似地，對於\(n\)階行列式\(\mathrm{det}(a_{i,j})_{n\times n}\)而言，能夠將其拆分爲

\[\sum(-1)^x\mathrm{Permutation}\{1,2,\cdots,n\}\]

其中\(\{i,j,\cdots,l\}\)表示的是\(a_{1,i}a_{2,j}\cdots a_{n,l}\),\(x\)是序列\(\{i,j,\cdots,l\}\)的逆序對個數，\(\mathrm{Permutation}\{1,2,\cdots,n\}\)表示的是1到n的全排列

若是咱們把其中含\(a_{i,j}\)的項所有提出來，就能獲得\(a_{i,j}\)對應的代數餘子式\(A_{i,j}\)

二10、克拉默法則

國內線代教材包含了克拉默法則相關的內容，此處不做過多贅述。

值得一提的是二階(三階)行列式的值與面積(體積)的關係。

對於一個二階矩陣A

\[A=\begin{pmatrix}a & b\\c & d\end{pmatrix}\]

而言，\(|\mathrm{det}(A)|\)就是以下平行四邊形的面積：

實際上這和叉積是徹底相同的：

\[|det(A)|=|ad-bc|=|\{a,b\}\times \{c,d\}|\]

對於一個三階矩陣A

\[A=\begin{pmatrix}a_{1,1}&a_{1,2}&a_{1,3}\\a_{2,1}&a_{2,2}&a_{2,3}\\a_{3,1}&a_{3,2}&a_{3,3}\end{pmatrix}\]

而言，\(|\mathrm{det}A|\)就是以下圖所示的平行六面體的體積

這符合混合積的定義：

\[V=|(\{a_{1,1},a_{1,2},a_{1,3}\}\times \{a_{2,1},a_{2,2},a_{2,3}\})·\{a_{3,1},a_{3,2},a_{3,3}\}|\]

並且二階(三階)行列式的性質也有幾何意義。如對於三階行列式A的某一行乘以2獲得A'，則A'=2A，至關因而對應的向量長度乘2，則該平行六面體體積也乘2