線性代數的本質（Essense of Linear Algebra）——3Blue1Brown

視頻資料：https://www.bilibili.com/video/av6731067

1、向量是什麼

• 物理專業：向量是空間中的箭頭，由長度和方向決定
• 計算機專業：向量是有序的數字列表
• 數學家：向量能夠是任何東西，只要保證向量相加、數字與向量的相乘有意義便可

（1）當在座標系下以有序多元數組的形式表示向量時，不一樣位置上的數字表明在相應座標軸上的投影長度

（2）當把向量視做一種運動時，向量加法能夠視爲依次進行各個運動，即向量的首尾相連，反映到數值上，就是對應數值項的相加

（3）從幾何角度看，向量數乘就是向量的縮放，反映到數值上，就是各個數值項都乘以標量

（4）線性代數的兩種基本運算：向量加法和向量數乘

2、線性組合、張成的空間、基

（1）向量：基向量根據座標值進行縮放並相加的結果　　//用數字描述向量時，都依賴於當前採用的基

（2）線性組合（數乘和加法）：兩個數乘向量的和（二維）　　$a\vec{v}+b\vec{w}$　　//縮放再相加

注：線性的一種解釋——當固定其中一個標量$a$時，讓另外一個標量$b$自由變化時，組合向量的終點會造成一條直線

（3）向量張成的空間：給定向量全部線性組合向量的集合

（4）線性相關：存在某向量能夠表示爲其餘向量的線性組合 $\vec{u}=a\vec{v}+b\vec{w}$，即此向量落在其餘向量張成的空間中，能夠移除而不減少張成的空間

（5）線性無關：全部向量都給張成的空間添加新的維度

（6）基：向量空間的一組基是張成該空間的一個線性無關向量集

3、矩陣與線性變換

（1）變換與函數相似，接收輸入，生成輸出，變換隱含能夠用運動的思想進行理解

注：此處變換接收一個向量，並輸出一個向量，能夠視爲將輸入向量移動到輸出向量

（2）線性變換的特殊之處：變換保持網格線平行且等距分佈

• 全部直線在變換後仍然保持爲直線，不能有所彎曲
• 原點位置必須保持固定

（3）線性變換隻須要記錄基向量$\hat{i}=\begin{bmatrix}1 \\ 0\end{bmatrix}$ 和 $\hat{j}=\begin{bmatrix}0 \\ 1\end{bmatrix}$ 變換後的位置　　　

注：線性變換由它對空間基向量的做用徹底決定

（4）重要推論：由於線性變換網格線平行且等距分佈，因此變換先後向量關於基向量的線性組合保持不變！

假設原始向量爲$\begin{bmatrix}x \\ y\end{bmatrix}$,當基向量$\hat{i}=\begin{bmatrix}1 \\ 0\end{bmatrix}$和 $\hat{j}=\begin{bmatrix}0 \\ 1\end{bmatrix}$變爲$\hat{i}=\begin{bmatrix}1 \\ -2\end{bmatrix}$和 $\hat{j}=\begin{bmatrix}3 \\ 0\end{bmatrix}$時，原始向量變爲：

$$\begin{bmatrix}x \\ y\end{bmatrix} \rightarrow x\begin{bmatrix}1 \\ -2\end{bmatrix}+y\begin{bmatrix}3 \\ 0\end{bmatrix}=\begin{bmatrix}1x+3y \\ -2x+0y\end{bmatrix}=\begin{bmatrix}\color{red}1 & \color{red}3\\ \color{red}-\color{red}2 & \color{red}0\end{bmatrix}\begin{bmatrix}x \\ y\end{bmatrix}$$

能夠看出，二維線性變換僅由四個數字徹底肯定，而這四個數字對應於基向量變換後的座標

所以，能夠看出矩陣就是對線性變換的一種描述，其中不一樣列表示不一樣基向量變換後的結果；矩陣的乘法視爲變換後基向量的線性組合　　//矩陣向量乘法用於計算線性變換做用於給定向量的結果

$$\begin{bmatrix}\color{red}a & \color{blue}b\\ \color{red}c & \color{blue}d\end{bmatrix}\begin{bmatrix}x \\ y\end{bmatrix}=x\begin{bmatrix}\color{red}a \\ \color{red}c \end{bmatrix}+y\begin{bmatrix} \color{blue}b\\  \color{blue}d\end{bmatrix}=\begin{bmatrix}{\color{red}ax }+\color{blue}by\\ {\color{red}cx}+\color{blue}dy\end{bmatrix}$$

注：矩陣表明對空間的一種特定線性變換

4、 矩陣乘法與線性變換複合

（1）矩陣乘法的幾何意義：兩個線性變換相繼做用的合成　　//獨立變換的「複合變換」

（2）追蹤基向量的變化：

$$\begin{bmatrix}\color{red}a & \color{red}b\\ \color{red}c & \color{red}d\end{bmatrix}\begin{bmatrix}\color{blue}e & \color{blue}f\\ \color{blue}g & \color{blue}h\end{bmatrix}=\begin{bmatrix}ae+bg & af+bh\\ ce+dg& cf+dh\end{bmatrix}$$

基向量$\hat{i}=\begin{bmatrix}1 \\ 0\end{bmatrix} \rightarrow \begin{bmatrix}e \\ g\end{bmatrix} \rightarrow \begin{bmatrix}\color{red}a & \color{red}b\\ \color{red}c & \color{red}d\end{bmatrix}\begin{bmatrix}e \\ g\end{bmatrix}=\begin{bmatrix}ae+bg\\ ce+dg\end{bmatrix}$

基向量$\hat{j}=\begin{bmatrix}0 \\ 1\end{bmatrix} \rightarrow \begin{bmatrix}f \\ h\end{bmatrix} \rightarrow \begin{bmatrix}\color{red}a & \color{red}b\\ \color{red}c & \color{red}d\end{bmatrix}\begin{bmatrix}f\\ h\end{bmatrix}=\begin{bmatrix}af+bh\\ cf+dh\end{bmatrix}$

（3）矩陣乘法不符合交換律，但知足結合律

附註1——三維空間中的線性變換：追蹤三維基向量的變化　　//三維方陣

5、行列式：線性變換改變面積的比例　　//三維爲體積的縮放

（1）含義（絕對值）

• 給定區域面積增大或減少的比例　　
• 空間拉伸或擠壓的程度
• 單位正方形的面積變化比例

（2）矩陣行列式爲0：對應變換將空間壓縮到更低的維度　　//列線性相關

（3）行列式的正負號：對空間定向orientation的改變，定向發生改變則爲負

注：

• 可根據基向量$\hat{i}$和$\hat{j}$進行考慮，$\hat{j}$位於$\hat{i}$左側爲正，$\hat{j}$位於$\hat{i}$右側爲負
• 三維空間的定向：右手法則；若是變換後不符合右手法則，符合左手法則，則行列式爲負

（4）計算行列式：$$det\left(\begin{bmatrix}a & b\\c & d\end{bmatrix}\right)=ad-bc$$　　//二維方陣

 6、逆矩陣、列空間與零空間

（1）求解常係數線性方程組 $A\vec{x}=\vec{v}$

$$\begin{array}{c} 2x+5y+3z=-3\\4x+0y+8z=0\\1x+3y+0z=2\\\end{array} \rightarrow \begin{bmatrix}2 & 5 & 3\\4 & 0 & 8\\ 1 & 3 & 0\end{bmatrix} \begin{bmatrix}x\\y\\z\end{bmatrix} = \begin{bmatrix}-3\\0\\2\end{bmatrix}$$

方程$A\vec{x}=\vec{v}$的幾何含義：尋找向量$\vec{x}$，使得其通過變換$A$後獲得向量$\vec{v}$

（2）行列式$det(A)\neq 0$時　　//惟一解

有且僅有一個向量知足該變換$\vec{x}=A^{-1}\vec{v}$

此時存在逆變換$A^{-1}$，知足$A^{-1}A=I$（恆等變換） 

（3）行列式$det(A)=0$時

• 有解的條件：向量$\vec{v}$位於變換後的低維空間內　　//列空間

（4）列空間：變換後的基向量（矩陣的列）所能張成的空間 $A\vec{x}$　　//解決「什麼時候存在解」

• 必定包含零向量

（5）秩rank：變換後的空間的維數　　//列空間的維數

• 滿秩full rank：秩與列數相等；列空間的維數與輸入空間的維數相等
• 對於滿秩矩陣而言，只有零向量在變換後仍落在原點處
• 對於非滿秩矩陣，存在多個向量變換後落在原點

（6）矩陣的零空間（核kernel）：變換後落在原點的向量$\vec{x}$集合，即知足$A\vec{x}=\vec{0}$　　//解決「解是什麼樣的」

附註2——非方陣

（1）$m\times n$矩陣：將$n$維向量變換爲$m$維向量　　//$m\neq n$時，基向量的維度發生變化

（2）矩陣的列數代表基向量的個數（輸入空間的維數），矩陣的行數代表變換後輸出空間的維數

 7、點積與對偶性　　//點積：高維輸入，一維輸出

（1）$\vec{v}\cdot\vec{w}$標準定義：同維向量對應座標項相乘後，求和

（2）$\vec{v}\cdot\vec{w}$幾何解釋：$\vec{v}$在$\vec{w}$方向上的投影長度和$\vec{w}$長度的乘積　　//同向爲正，反向爲負，垂直爲0

注：投影的對稱性——點積的結果與順序無關 $\vec{v}\vec{w}=\vec{w}\vec{v}$

（3）實現「高維輸入，一維輸出」的線性變換須要知足的直觀條件：一系列等距分佈於一條直線上的點，應用線性變換後，會保持這些點的等距分佈特性；若干輸出不是等距分佈，則變換不是線性的

 注：一維行向量能夠視爲高維空間向一維空間的變換矩陣，每一個元素能夠看做基向量的變換結果，如$\begin{bmatrix}2 & 1\end{bmatrix}$

• 點積與變換的關聯：

• 向量與變換之間的關係（直立和放倒）

• 投影矩陣projection matrix：二維向量到數的線性變換　　//空間任意向量通過投影變換的結果爲投影矩陣與向量相乘

　　如圖所示，$\hat{i}$和$\hat{j}$在單位向量$\hat{u}$上的投影值，分別爲$u_x$和$u_y$（投影變換矩陣的值）；則投影變換與點積的關係以下：

注：任什麼時候候看到一個輸出空間爲一維數軸的線性變換，空間中會存在惟一的向量$v$與之相關，因此應用變換和與向量$v$作點積是同樣的（對偶性duality）

• 向量 $\Leftrightarrow$ 對應的線性變換　　//向量是線性變換的物質載體
• 多維空間到一維空間的線性變換 $\Leftrightarrow$ 多維空間的某個特定向量　　//應用線性變換和與這個向量點乘等價

總結：

• 點積是理解投影的有利幾何工具，並便於檢驗兩個向量的指向是否相同
• 兩個向量點乘：將其中一個向量轉換爲線性變換

 8、叉積

1. 標準介紹

（1）二維叉積（等價於行列式）：

$\overrightarrow{v}\times\overrightarrow{w}$ = 構成的平行四邊形的面積 * 方向（$\overrightarrow{v}$在$\overrightarrow{w}$右側爲正，不然爲負）　　//乘積順序有影響

注：

• 判斷方向的方法，記住橫軸單位向量$\hat{i}$與縱軸單位向量$\hat{j}$的叉積$\hat{i}\times\hat{j}$爲正　　//基向量的順序就是定向的基礎
• 面積的求法：將向量做爲列構成矩陣（與將$\hat{i}$和$\hat{j}$分別移至$\overrightarrow{v}$和$\overrightarrow{w}$的線性變換相對應），矩陣行列式的絕對值即爲面積　　//做爲行也能夠，由於轉置不改變行列式的值

（2）三維叉積：經過兩個三維向量生成一個新的三維向量    $\overrightarrow{v}\times\overrightarrow{w}=\overrightarrow{p}$

• 生成的三維向量：長度爲平行四邊形的面積，方向垂直於平行四邊形，且符合右手法則

2. 以線性變換的眼光看叉積

（1）線性變換和對偶向量

（2）理解叉積的計算公式和幾何含義之間的關係

• 定義三維空間到數軸的函數：輸入任意向量$(x, y, z)$計算與$\overrightarrow{v}$和$\overrightarrow{w}$肯定的平行六面體的體積（考慮方向）

　　注：根據行列式的性質能夠證實該函數是線性的

• 尋找對偶向量$\overrightarrow{p}$：線性變換$\Rightarrow$矩陣乘法$\Rightarrow$向量點積

　　注：尋找向量$\overrightarrow{p}$，知足與向量$(x,y,z)$點乘時，所得結果爲右側$3\times 3$矩陣的行列式

$$\Downarrow$$

　　注：計算公式角度

• 向量$\overrightarrow{p}$點積的幾何意義：
• 六邊體體積計算兩種思考方式：

1. 線性函數對於給定向量的做用爲：將向量投影到垂直於$\overrightarrow{v}$和$\overrightarrow{w}$的直線上，而後將投影長度與$\overrightarrow{v}$和$\overrightarrow{w}$張成的平行四邊形的面積相乘　　//對行列式的解釋
2. 等價於：垂直於$\overrightarrow{v}$和$\overrightarrow{w}$且長度爲平行四邊形面積的向量與向量$(x,y,z)$進行點乘　　//對對偶向量點乘的解釋

　　注：幾何意義角度

 9、基變換

（1）不一樣基向量（座標系）下的座標表示

注：當座標均爲$\begin{bmatrix}-1 \\ 2\end{bmatrix}$時，基向量的不一樣會引發在同一座標系進行表示時的座標變化

（2）基變換：矩陣表明基向量的變換

（3）基變換圖示

• 基變換矩陣（描述基變量的變化）

• 正變換

• 逆變換

（4）如何利用標準座標系描述新基下的線性變換

注：先將新基下的向量轉化爲標準座標系表示——>在標準座標系下進行變換——>將座標從新變換回新基下的座標

 

注：表達式$\color{red}{A^{-1}MA}$暗示了一種數學上的轉移做用，中間的矩陣$M$表明了一種標準座標系下的常見變換，外側的兩個矩陣則表明着不一樣座標系的視角轉化（轉移做用），相應的矩陣乘積結果仍然表明着同一個變換，可是從其餘人（新座標系）的角度來看的

10、特徵向量與特徵值

（1）特徵向量：矩陣變換對它的做用僅僅是拉伸或者壓縮，如同一個標量　　//特徵向量留在自身張成的空間裏（留在直線上，不發生旋轉）

（2）特徵值：衡量特徵向量在變換中拉伸或者壓縮比例的因子

（3）對於三維旋轉而言，旋轉矩陣的特徵向量表明了該旋轉的旋轉軸（不發生變化）　　//旋轉矩陣的特徵值爲1（保持向量長度不變）

（4）理解線性變換做用的兩種方式

• 將矩陣列視爲變換後的基向量　　//依賴於所選特定座標系
• 利用特徵向量和特徵值　　//不依賴於座標系

（5）求解特徵向量、特徵值

注：當且僅當矩陣$A-\lambda I$表明的變換將空間壓縮到更低的維度時，纔會存在非零向量$\vec{v}$，使得和矩陣的乘積爲零，也就是矩陣的行列式須要爲零

（6）二維線性變換不必定有特徵向量：如逆時針旋轉90度$\begin{bmatrix}0 & -1 \\ 1 & 0\end{bmatrix}$使得每個向量都發生旋轉（離開其張成的空間），此時求解行列式爲零得不到實數解，代表沒有特徵向量

注：與虛數$i$相乘在複平面中表現爲90度旋轉（與$i$是上述旋轉變換的特徵值有關聯）；特徵值出現複數的狀況通常對應於變換中的某種旋轉

（7）剪切變換矩陣$\begin{bmatrix}1 & 0 \\ 1 & 1\end{bmatrix}$的全部特徵向量都位於$x$軸上，特徵值爲1

注：可能出現只有一個特徵值，可是特徵向量不止在一條直線上，如$\begin{bmatrix}2 & 0 \\ 0 & 2\end{bmatrix}$的惟一特徵值爲2，可是平面內每一個向量都是特徵向量

（8）特徵基eigenbasis：一組特徵向量做爲基向量構成的集合

• 對角矩陣的全部基向量都是特徵向量，矩陣的對角元爲相應的特徵值　　//對角矩陣僅僅讓基向量與某個特徵值相乘

• 當基向量不是特徵向量時，能夠經過基變換，將座標系轉換爲由特徵向量做爲基向量（特徵向量足夠多，可以張成全空間）

　　注：同一個變換在新基（特徵向量）$\begin{bmatrix}1 & 0 \\ -1 & 1\end{bmatrix}$下表示爲對角矩陣，且對角線元素爲特徵值

11、抽象向量空間　　//相似向量的事物合集，如箭頭、一組數、函數等

（1）向量——>函數

• 可加性

• 成比例性

注：可加性和成比例性的直觀解釋——網格線保持平行且等距分佈

• 線性變換（矩陣）和線性算子（求導）之間的對應關係

• 向量空間必須知足的八條公理：

（2）全體多項式空間的基函數basis functions爲：$b_0(x)=1, b_1(x)=x, b_2(x)=x^2, b_3(x)=x^3, \cdots$；

對每一個基函數求導，並將結果做爲矩陣列，可得函數的求導變換矩陣$\frac{d}{dx}$

（3）普適的代價