【Math for ML】線性代數-單射,滿射,雙射,同構,同態,仿射

時間 2019-11-25

標籤 Math for ML 線性代數單射滿射雙射同構同態仿射欄目應用數學简体版

原文原文鏈接

I. 映射(Mapping)

1. 單射(Injective)

函數f 是單射當且僅當若f(x) = f(y) 則 x = y。html

例子： f(x) = x+5 從實數集$R$到$R$是個單射函數。web

這個函數很容易被還原：f(3) = 8，即已知 8 能夠返回 3app

2. 滿射(Surjective)

函數 f（從集 A 到集 B）是滿射當且僅當在 B 中的每一個 y 存在至少一個在 A 中的 x 知足 f(x) = y，就是說， f 是滿射當且僅當 f(A) = B。dom

值域裏的每一個元素都至少有一個定義域元素與之對應。函數

例子：函數 f(x) = 2x 從天然數集$N$到非負偶數是個滿射函數。spa

但 f(x) = 2x 從天然數集$N$到$N$不是滿射，由於沒有一個天然數$N$能夠被這個函數映射到 3。orm

3. 雙射(Bijective)

函數 f（從 A 集到 B 集）是雙射，若每一個 B 中的 y 都有惟一的一個（而沒有另一個） A 集中的 x 知足 f(x) = yhtm

或者說：當單射和滿射都成立時，f 是雙射。blog

例子：函數 $f(x) = x^2$ 從正實數到正實數是單射，也是滿射，因此它是雙射。rem

但從實數集$R$就不是，由於f(2)=4，而且f(-2)=4

II. 同態&同構

對於向量空間$V,W$,如有映射$\Phi :V→W$知足以下條件，則咱們稱$\Phi$爲線性映射(linear mapping)(或者向量空間同態(vector space Homomorphism) 或 linear transform):
\[\forall{x,y}∈V, \lambda,\psi∈R:\Phi(\lambda x+\psi y)=\lambda \Phi(x) + \psi \Phi(y)\]

基於上面已經介紹了的映射的概念，咱們如今能夠更好地直觀理解同態和同構的定義，它們分別以下：

$\Phi:V→W \,\,\, linear$: 同態 (Homomorphism)
- $\Phi:V→W \,\,\, linear \,\, and \,\, injective$: 單一同態 (Monomorphism)
- $\Phi:V→W \,\,\, linear \,\, and \,\, surjective$: 滿同態 (Surjective Homomorphism)
- $\Phi:V→W \,\,\, linear \,\, and \,\, bijective$: 同構 (Isomorphism)
$\Phi:V→V \,\,\, linear$: 自同態 (Endomorphism)
- $\Phi:V→V \,\,\, linear \,\, and \,\, injective$: 單一自同態 (Monomorphic Endomorphism)
- $\Phi:V→V \,\,\, linear \,\, and \,\, surjective$: 滿自同態 (Surjective Endomorphism)
- $\Phi:V→V \,\,\, linear \,\, and \,\, bijective$: 自同構 (Automorphism)

定理:兩個維度是有限的向量空間$V,W$,當且僅當兩者的維度相同,即$dim(V)=dim(W)$，$V,W$兩者同構。

假設如今有三個向量空間分別爲$V,W,X$,那麼它們有以下性質：

若是有線性映射$\Phi:V→W$和$\Psi:W→X$,那麼映射$\Phi◦\Psi:V→X$也是線性映射；
若是$\Phi:V→W$是同構(isomorphsim),那麼$\Phi^{-1}:V→W$也是同構；
若是$\Phi:V→W,\Psi:V→W$都是線性映射，那麼$\Psi+\Phi$和$\lambda\Phi,\lambda∈R$也都是線性的。

1. 線性映射的矩陣表示

座標(Coordinates) 的定義：

假設向量空間$V$的順序基(ordered bases)爲$B=(b_1,...,b_n)$，那麼$V$中任意一個向量$x$可由順序基線性組合表示,即
$x=α_1b_1+...+α_nb_n$$。此時矢量$$\alpha=[α_1,...,α_n]^{T}∈R^n$則是$x$在向量空間$V$上以$B$爲基的座標。

變換矩陣(Transform Matrix) 的定義:

假設向量空間$V∈R^n,W∈R^m$的順序基分別爲$B=(b_1,...,b_n),C=(c_1,...,c_m)$。對於映射$\Psi:V→W$，有
\[\Phi(b_j)=α_{1j}c_1+...+α_{mj}c_m=\sum_{i=1}^mα_{ij}c_i\]
則咱們稱$A_{\Phi}(i,j)=α_{ij}$爲映射$\Phi$的變換矩陣。

因此向量空間$V$中的座標矢量$x$與$W$中的座標矢量$y$有以下變換關係:$y=A_{\Phi}x$

2. 基變換(Basis Change)

定義:

假設向量空間$V$的順序基有兩個，分別是$B=(b_1,...,b_n),\tilde{B}=(\tilde{b_1},...,\tilde{b_n})$，向量空間$W$也有兩個順序基，分別爲$C=(c_1,...,c_n),\tilde{C}=(\tilde{c_1},...,\tilde{c_n})$。$A_{\Phi}$是映射$\Phi:V→W$關於順序基$B,C$的變換矩陣,$\tilde{A_{\Phi}}$是映射$\Phi:V→W$關於順序基$\tilde{B},\tilde{C}$的變換矩陣,兩個變換矩陣的關係以下:
\[\tilde{A_{\Phi}}$=T^{-1}A_{\Phi}S\]
其中$S∈R^{n×n}$表示向量空間$V$從基$\tilde{B}$到基$B$的恆等映射$id_V$的變換矩陣,$T∈R^{m×m}$表示向量空間$W$基於基$\tilde{C}$到基$C$的恆等映射$id_W$的變換矩陣,

3. 核(kernel)與象(Image)

先看定義:

核(Kernel/null space):

假設有映射$\Phi:V→W$,核(kernel)爲：
\[ker(\Phi)=\Phi^{-1}(0_w)=\{v∈V:\Phi(v)=0_w\}\]

什麼意思呢？就是說通過映射後,$V$中的一些值被映射到$W$的零點(以下圖示)，而$V$這些值組成的集合(即左邊橘黃色部分)就稱爲kernel。

象(Image/Range)

\[Im(\Phi)=\Phi(V)=\{w∈W|\exists v∈V:\Phi(v)=w\}\]

怎麼理解象呢？就是說整個向量空間$V$在通過映射後在向量空間$W$上獲得的集合，也就是右邊黃色部分。

爲方便理解，能夠把kenel粗略地理解成定義域，Image理解成值域。

另外須要注意的有以下推論:

始終有$\Phi(0_V)=0_W$，即$0_V∈ker(\Phi)$
$Im(\Phi),Ker(\Phi)$分別是$W,V$的子空間
當且僅當$Ker(\Phi)=\{0\}$時，$\Phi$是單射。

Rank-Nullity Theorem(秩-零定理):對於映射$\Phi:V→W$始終知足以下等式:
\[dim(Ker(\Phi))+dim(Im(\Phi))=dim(V)\]

若是用matrix來講的話，假設A是一個n*n的matrix，則:$rank(A)+nullity(A)=n$
再通俗點說就是對A進行初等變換後獲得的echelon form（行階梯形式），不爲0的行數加上所有爲0的行數等於這個矩陣的行數。固然由於通常的matrix的row rank和column rank相等，因此變成column echelon form以後用列來計數也是同樣的。

III. 仿射空間(Affine Spaces)

前面提到的映射都是通過零點的，下面介紹的仿射空間是偏離原點的空間。

1. 仿射子空間(Affine Subspaces)

定義:

假設$V$爲向量空間，$x_0∈V$, $U\subseteq{V}$爲子空間，則子集
\[ \begin{align} L&=x_0+U=\{x_0+u: u∈U\} \notag \\ &=\{v∈V|\exists{u∈U}:v=x_0+u\}\subseteq{V} \notag \end{align} \]
稱爲向量空間$V$的 仿射子空間(affine subspace) 或 linear manifold。$U$稱爲Direction (Space),$x_0$稱爲support point