機器學習和深度學習之數學基礎-線性代數 第二節 矩陣的概念及運算

本文爲原創文章，歡迎轉載，但請務必註明出處。

上文介紹了線性映射，而與線性映射直接相關的就是矩陣，它決定了線性映射的結果，這裏介紹矩陣的一些基本概念和運算。包括矩陣的轉置、逆、特徵值與特徵向量、投影、正交矩陣、對稱矩陣、正定矩陣、內積和外積、SVD、二次型等基本概念。本文主要參考Garrett Thomas(2018)，Marc Peter Deisenroth(2018)，Strang(2003)，José Miguel Figueroa-O’Farrill， Isaiah Lankham(UCD, MAT67,2012)等教授的相關講座和教材。

1、 矩陣的轉置

矩陣轉置的定義很簡單，矩陣的轉置就是將矩陣的行變爲列，即 A∈ℝm×n $\mathbf{A}\in {\mathbb{R}}^{m\times n}$， 那麼轉置 A⊤∈ℝn×m ${\mathbf{A}}^{\mathrm{\top }}\in {\mathbb{R}}^{n\times m}$，且 (A⊤)ij=Aji $({\mathbf{A}}^{\mathrm{\top }}{)}_{ij}={\mathbf{A}}_{ji}$。

轉置的性質：

• (A⊤)⊤=A $({\mathbf{A}}^{\mathrm{\top }}{)}^{\mathrm{\top }}=\mathbf{A}$
• (A+B)⊤=A⊤+B⊤ $(\mathbf{A}+\mathbf{B}{)}^{\mathrm{\top }}={\mathbf{A}}^{\mathrm{\top }}+{\mathbf{B}}^{\mathrm{\top }}$
• (αA)⊤=αA⊤ $(\alpha \mathbf{A}{)}^{\mathrm{\top }}=\alpha {\mathbf{A}}^{\mathrm{\top }}$
• (AB)⊤=B⊤A⊤ $(\mathbf{A}\mathbf{B}{)}^{\mathrm{\top }}={\mathbf{B}}^{\mathrm{\top }}{\mathbf{A}}^{\mathrm{\top }}$

若 A⊤=A ${\mathbf{A}}^{\mathrm{\top }}=\mathbf{A}$， 那麼 A $\mathbf{A}$ 稱爲對稱矩陣(symmetric)。任何一個矩陣都可以是一個對稱矩陣和反對稱矩陣(antisymmetric)的和：

A=12(A+A⊤)+12(A−A⊤) $$\mathbf{A}=\frac{1}{2}(\mathbf{A}+{\mathbf{A}}^{\mathrm{\top }})+\frac{1}{2}(\mathbf{A}-{\mathbf{A}}^{\mathrm{\top }})$$

其中， 12(A+A⊤) $\frac{1}{2}(\mathbf{A}+{\mathbf{A}}^{\mathrm{\top }})$是對稱矩陣， 12(A−A⊤) $\frac{1}{2}(\mathbf{A}-{\mathbf{A}}^{\mathrm{\top }})$是反對稱矩陣。

2、可逆矩陣(invertible matrix)

一個方陣 A∈ℝn×n $\mathbf{A}\in {\mathbb{R}}^{n\times n}$ 可逆當且僅當存在一個方陣 B∈ℝn×n $\mathbf{B}\in {\mathbb{R}}^{n\times n}$ 使得

AB=I $$\mathbf{A}\mathbf{B}=\mathbf{I}$$

其中 I∈ℝn×n $\mathbf{I}\in {\mathbb{R}}^{n\times n}$ 爲單位矩陣。那麼方陣 B $\mathbf{B}$ 爲方陣 A $\mathbf{A}$的逆矩陣，記作 A−1 ${\mathbf{A}}^{-1}$。

如果矩陣 A∈ℝn×n $\mathbf{A}\in {\mathbb{R}}^{n\times n}$，那麼下面的說法等價：

• A $\mathbf{A}$可逆
• A $\mathbf{A}$不是奇異矩陣(non-singular)
• 行列式 det(A)≠0 $\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{A})\ne 0$
• A $\mathbf{A}$ 滿秩，即 rank(A=n) $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(\mathbf{A}=n)$
• Ax=0 $\mathbf{A}\mathbf{x}=0$只有唯一解： x=0 $\mathbf{x}=\mathbf{0}$
• A $\mathbf{A}$ 的零空間只有零向量： {0} $\{\mathbf{0}\}$，即 null(A)=0 $\mathrm{n}\mathrm{u}\mathrm{l}\mathrm{l}(\mathbf{A})=\mathbf{0}$
• A $\mathbf{A}$的列向量線性無關
• A $\mathbf{A}$的列向量的張成是整個 ℝn ${\mathbb{R}}^n$空間。
• A $\mathbf{A}$的列向量構成 ℝn ${\mathbb{R}}^n$的一個基向量集
• 存在方陣 B∈ℝn×n $\mathbf{B}\in {\mathbb{R}}^{n\times n}$ 使得 AB=I=BA $\mathbf{A}\mathbf{B}=\mathbf{I}=\mathbf{B}\mathbf{A}$.
• 轉置 A⊤ ${\mathbf{A}}^{\mathrm{\top }}$是可逆矩陣，於是，矩陣 A $\mathbf{A}$的行向量是線性無關的，張成是 ℝn ${\mathbb{R}}^n$空間，同時構成了 ℝn ${\mathbb{R}}^n$的一個基向量集。
• A $\mathbf{A}$不存在值爲0的特徵值。
• A $\mathbf{A}$可以表示爲有限個初等矩陣的乘積。
• A $\mathbf{A}$ 有左逆矩陣（即 BA=I $\mathbf{B}\mathbf{A}=\mathbf{I}$）和 右逆矩陣(即 AC=I $\mathbf{A}\mathbf{C}=\mathbf{I}$)，且 B=C=A−1 $\mathbf{B}=\mathbf{C}={\mathbf{A}}^{-1}$。

可逆矩陣 A $\mathbf{A}$ 的一些重要性質：

• (A−1)−1=A $({\mathbf{A}}^{-1}{)}^{-1}=\mathbf{A}$;
• (αA)−1=α−1A−1 $(\alpha \mathbf{A}{)}^{-1}={\alpha }^{-1}{\mathbf{A}}^{-1}$，這裏實數標量 α≠0 $\alpha \ne 0$
• (A⊤)−1=(A−1)⊤ $({\mathbf{A}}^{\mathrm{\top }}{)}^{-1}=({\mathbf{A}}^{-1}{)}^{\mathrm{\top }}$
• (AB)−1=B−1A−1 $(\mathbf{A}\mathbf{B}{)}^{-1}={\mathbf{B}}^{-1}{\mathbf{A}}^{-1}$，其中 B∈ℝn×n $\mathbf{B}\in {\mathbb{R}}^{n\times n}$ 是可逆矩陣。 更一般情況，如果方陣 A1,...Ak ${\mathbf{A}}_1,...{\mathbf{A}}_k$可逆，那麼 (A1...Ak)−1=A−1k...A−11 $({\mathbf{A}}_1...{\mathbf{A}}_k{)}^{-1}={\mathbf{A}}_k^{-1}...{\mathbf{A}}_1^{-1}$.
• det(A−1)=(det(A))−1 $\mathrm{d}\mathrm{e}\mathrm{t}({\mathbf{A}}^{-1})=(\mathrm{d}\mathrm{e}\mathrm{t}(\mathbf{A}){)}^{-1}$

如果方陣 A $\mathbf{A}$ 的逆矩陣就是它自身，即 A=A−1 $\mathbf{A}={\mathbf{A}}^{-1}$， 那麼有 A2=I ${\mathbf{A}}^2=\mathbf{I}$，這是方陣 A $\mathbf{A}$就叫對合矩陣(involutory matrix)。

3、矩陣的列空間(columnspace)和行空間(rowspace)， 矩陣的秩(rank)

矩陣 A∈ℝm×n $\mathbf{A}\in {\mathbb{R}}^{m\times n}$的列空間(columnspace)是指其列向量(看成是 ℝm ${\mathbb{R}}^m$中的向量)的張成； 類似的，行空間(rowspace)是指其行向量(看成是 ℝn ${\mathbb{R}}^n$中的向量)的張成。

矩陣 A $\mathbf{A}$的列空間等於由矩陣 A $\mathbf{A}$導致的線性映射 ℝn→ℝm ${\mathbb{R}}^n\to {\mathbb{R}}^m$ 的值域, 即 range(A) $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{e}(\mathbf{A})$。

矩陣 A∈ℝm×n $\mathbf{A}\in {\mathbb{R}}^{m\times n}$的列秩是矩陣 A $\mathbf{A}$的線性無關的列向量的最大數量。類似地，行秩是矩陣 A $\mathbf{A}$的線性無關的行向量的最大數量。 矩陣的列秩和行秩總是相等的，因此它們可以簡單地稱作矩陣 A $\mathbf{A}$的秩，通常表示爲 r(A) $\mathrm{r}(\mathbf{A})$或 rank(A) $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(\mathbf{A})$。

4、範數(norm)和內積(inner product)

4.1、範數(norm)

範數(norm)是對歐氏空間距離的一般描述。在實數向量空間 V $V$的一個範數是一個函數 ‖⋅‖:V→ℝ $\Vert \cdot \Vert :V\to \mathbb{R}$，並且滿足：

• ‖x‖≥0 $\Vert \mathbf{x}\Vert \ge 0$， 當且僅當 x=0 $\mathbf{x}=\mathbf{0}$ 等號成立；
• ‖αx‖=|α|‖x‖ $\Vert \alpha \mathbf{x}\Vert =|\alpha |\Vert \mathbf{x}\Vert$
• ‖x+y‖≤‖x‖+‖y‖ $\Vert \mathbf{x}+\mathbf{y}\Vert \le \Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert$ （三角不等式）

注意在 V $V$上的任何範數都會引出一個在 V $V$上的距離度量： d(x,y)=‖x−y‖ $d(\mathbf{x},\mathbf{y})=\Vert \mathbf{x}-\mathbf{y}\Vert$

常用的範數包括：

‖x‖1=∑i=1n|xi| $${\Vert \mathbf{x}\Vert }_1=\underset{i=1}{\overset{n}{\sum }}|x_i|$$

‖x‖2=∑i=1nx2i‾‾‾‾‾‾⎷ $${\Vert \mathbf{x}\Vert }_2=\sqrt{\underset{i=1}{\overset{n}{\sum }}{x}_i^2}$$

‖x‖p=(∑i=1n|xi|p)1p,(p≥1) $${\Vert \mathbf{x}\Vert }_p={\left(\underset{i=1}{\overset{n}{\sum }}|x_i{|}^p\right)}^{\frac{1}{p}},(p\ge 1)$$

‖x‖∞=max1≤i≤n|xi| $${\Vert \mathbf{x}\Vert }_{\mathrm{\infty }}=\underset{1\le i\le n}{\mathrm{m}\mathrm{a}\mathrm{x}}|x_i|$$

圖一，不同範數在二維平面的示例

4.2、內積(inner product)

在實數向量空間 V $V$的一個內積是一個函數 ⟨⋅⟩:V×V→ℝ $⟨\cdot ⟩:V\times V\to \mathbb{R}$，並且滿足：

• ⟨x,x⟩≥0 $⟨\mathbf{x},\mathbf{x}⟩\ge 0$，當且僅當 x=0 $\mathbf{x}=\mathbf{0}$ 等號成立
• ⟨x+y,z⟩=⟨x,z⟩+⟨y,z⟩ $⟨\mathbf{x}+\mathbf{y},\mathbf{z}⟩=⟨\mathbf{x},\mathbf{z}⟩+⟨\mathbf{y},\mathbf{z}⟩$， ⟨αx,y⟩=α⟨x,y⟩ $⟨\alpha \mathbf{x},\mathbf{y}⟩=\alpha ⟨\mathbf{x},\mathbf{y}⟩$
• ⟨x,y⟩=⟨y,x⟩ $⟨\mathbf{x},\mathbf{y}⟩=⟨\mathbf{y},\mathbf{x}⟩$

另外，對於向量的2-範數，有

‖x‖=⟨x,x⟩‾‾‾‾‾√ $$\Vert \mathbf{x}\Vert =\sqrt{⟨\mathbf{x},\mathbf{x}⟩}$$

當 ⟨x,y⟩=0 $⟨\mathbf{x},\mathbf{y}⟩=0$時， 那麼在同一向量空間中的非零向量 x $\mathbf{x}$ 和 y $\mathbf{y}$ 正交 (orthogonal, 垂直，記爲 x⊥y $\mathbf{x}\perp \mathbf{y}$)。 如果 x $\mathbf{x}$ 和 y $\mathbf{y}$還是單位長度，即 ‖x‖=‖y‖=1 $\Vert \mathbf{x}\Vert =\Vert \mathbf{y}\Vert =1$，那麼向量 x $\mathbf{x}$ 和 y $\mathbf{y}$ 稱爲是標準正交的(orthonormal)。

向量正交的幾何解釋，如下圖二，假設向量 x $\mathbf{x}$ 和 y $\mathbf{y}$的夾角是 θ $\theta$，那麼由於：

⟨x,y⟩=‖x‖‖y‖cos(θ) $$⟨\mathbf{x},\mathbf{y}⟩=\Vert \mathbf{x}\Vert \Vert \mathbf{y}\Vert \mathrm{c}\mathrm{o}\mathrm{s}(\theta )$$

當夾角 θ=π/2 $\theta =\pi /2$ （即垂直）時， cos(θ)=0 $\mathrm{c}\mathrm{o}\mathrm{s}(\theta )=0$，所以有 ⟨x,y⟩=0 $⟨\mathbf{x},\mathbf{y}⟩=0$。

圖二，空間中兩個向量之間的夾角

通常內積被記爲：

cos(θ)=0 $\mathrm{c}\mathrm{o}\mathrm{s}(\theta )=0$，所以有 ⟨x,y⟩=0 $⟨\mathbf{x},\mathbf{y}⟩=0$。

圖二，空間中兩個向量之間的夾角

通常內積被記爲：

⟨x,y⟩=∑i=1nx ⟨x,y⟩=∑i=1nxiyi=x⊤y $$⟨\mathbf{x},\mathbf{y}⟩=\underset{i=1}{\overset{n}{\sum }}{x}_i{y}_i={\mathbf{x}}^{\mathrm{\top }}\mathbf{y}$$

在空間 ℝn ${\mathbb{R}}^n$上， 內積被稱爲點積(dot product)， 記爲 xi