線性代數

線性方程組

咱們將要學的：A system of linear equations (多元一次聯立方程式)

因爲本課程中m,n都很大，所以要採用與高中解方程組不一樣的視角，如：

• 是否有解
• 是否有惟一解
• 怎樣找到解
• 行列式（Determinants）

 

線性方程組與線性系統

線性方程組（system of linear equations ）的做用爲描述一個線性系統（linear system）

線性系統（linear system）的兩個特性：

Persevering Multiplication

Persevering Addition

eg.

：非線性系統

：線性系統

 

Linear system v.s System of Linear Equations

因爲線性方程組知足線性系統的兩個特性，故線性方程租能夠當作一個線性系統

對於一個以下的線性系統

可經過Multiplication和Addition轉換爲線性方程租

即線性系統與線性方程租等價

 

線性系統的應用

大多數電路系統爲線性系統

 

機器學習

通常用於分析的系統都是線性的，固然行情變化是非線性的，因此deep model（非線性）效果更好，但也更難訓練

 

設計濾波器

經過特徵值（Ei）與特徵向量能夠設計特定輸出的線性系統

 

圖像壓縮

 

向量（Vectors）

向量的第i個元素爲v _i，v ₁=1, v ₂=2, v ₃=3

零向量

標準向量

向量集

包含n個元素的向量集爲 R ⁿ

 

矩陣（Matrix）

標記規則：先 Row 再 Column

零矩陣

單位矩陣（Identity matrix）

矩陣轉置

AT中第(i,j)個元素爲A中第(j,i)個元素

 

矩陣與向量

矩陣A _m*n與向量x相乘結果爲m維向量。可經過行角度和列角度理解：

eg.

A and B 都是mxn矩陣. 若是對於R ⁿ中全部w，都有Aw = Bw. 那麼A=B?

由於

則

 

線性組合（Linear Combination）

「Ax = b 是否有解」 能夠轉化爲 「b是不是A中各列的線性組合」

線性空間（Span）
給定一組向量集合 ，Span A定義爲其中各向量的全部線性組合，即

「Ax = b 是否有解」能夠轉化爲 「b是否 ∈ Span A」

【總結】

對於

 

線性相關（Linear Dependent）

定義：給定一組向量集{a1, a2,..., an} ，若其中存在任一貫量ai可由其餘向量線性組合，則稱該向量集線性相關

等價爲以下

向量集{a1, a2,..., an} 線性相關：Ax = 0存在非零解

向量集{a1, a2,..., an}  線性獨立：Ax = 0只有零解

 

對於 線性相關的向量集{a1, a2,..., an} / Ax = 0存在非零解 → 方程Ax=b只要有解，必有無窮多解

線性相關法證實：

齊次方程（Homogeneous Equations）Ax=0證實：

 
 

秩（Rank）

定義：矩陣中線性獨立列的最大值

Nullity = Number of columns - rank

對於Am*n

 

【總結】

 

解線性方程方法

抽象爲線性系統即爲

其中A'=[A b]稱爲增廣陣（augmented matrix）

R=[R' b']爲簡化行階梯矩陣（reduced row echelon form，RREF）

• 矩陣是行階梯型
• 含先導元素（leading entries）的列（pivot column）是標準向量

  

A'→R的變換稱爲基礎行變換（elementary row operations）

• 矩陣行交換
• 矩陣行倍乘
• 行倍乘後加至另外一行

 

初始矩陣 v.s. RREF

列：關係不變、span 變化（即Col A≠Col R）

行：關係變化、span 不變（即Row A=Row R）

 

秩（Rank）

最大獨立列的個數 = 主元列（Pivot Col）個數 = 非零行個數

由上可得，Rank A ≤ Min（列數，行數）

 

RREF與解的關係

對於瘦長型矩陣

若 Rank R = col A

    無解：Rank R < Rank R'

    惟一解：Rank R = Rank R'

若 Rank R ＜ col A

    無窮多解

 

對於扁平型矩陣

    無解：Rank R < Rank R'

    無窮多解：m = n 且 Rank R = Rank R'

    惟一解：m < n 且 Rank R = Rank R'

 

矩陣相乘的兩個觀點

內積

列的線性組合

AB = A[b ₁ b ₂ ... b _p] = [Ab ₁ Ab ₂ ... Ab _p]

 

基礎行變換與矩陣乘積

1. 互換

 

2. 縮放

3. 倍乘第i行、加至第j行

 

eg. A爲m*n矩陣，其RREF爲R，即

 

 

可逆

A爲n*n矩陣，當且僅當如下條件成立時，A是可逆的： 

• A的列張成(span)Rⁿ
• 對全部b∈Rⁿ, Ax=b都有解
• A的秩爲n
• A的列相互獨立
• Ax=0 只有零解
• A的nullity爲0
• A的RREF爲I_n

　　

• A是基礎矩陣的乘積

　　

• 存在B_n*n使得BA = I_n
• 存在C_n*n使得AC = I_n

 

求解逆矩陣

對於A _n*n，將[A I _n]進行基礎行變換，轉化爲[I _n B]，則A ^-1 =B

 

行列式（Determinants）

行列式的性質

• det(I) = 1
• 交換行改變det正負
• 行列式對每行都是線性
• a：
• b：
• c（由a，b獲得）：

• det(AB) = det(A)det(B)
• a：det(A^-1) = 1/det(A)
• b：det(A²) = det(A)²

• det(A^T) = det(A)

 

行列式計算

選擇某行

或者某列

其中cij爲代數餘子式（cofactor）

 

克拉默法則（Cramer's Rule）

 

C爲A的代數餘子陣，C ^T爲A的伴隨矩陣（adj A）

證實：

AC ^T = det(A)I _n

【注】A中row i與row j的代數餘子式乘積爲0，至關於A中row i與row j相同

 

子空間（Subspace）

一組知足如下條件的向量集V：

0向量 ∈ V

若是 u，w ∈ V，則 u+w ∈ V

若是 u ∈ V，則c u ∈ V

 

零空間（Null Space）

定義：Null A={  v∈R ⁿ：A v= 0 }

列空間（Column Space）

Col A={ A v： v∈R ⁿ}

Row A=Col A ^T

 

11

基（Basis）

定義：基爲子空間V的一個 線性獨立生成集

舉例：矩陣列空間Col A的基爲其先導列

【釋】先導列相互獨立；且其可生成Col A

 

 

基的性質

基是最小的生成集（generation set）

    若是S爲子空間V的生成集

    Subspace V = Span S = Col S，即Col S的基與Subspace V相同，然而S的基爲S的先導列（S的Subset），可參見上例

    則V的基必定≤S的向量個數，即S可經過刪去某些向量轉化爲V的基

基是子空間中最大的獨立向量個數

子空間中的任何兩個基包含相同個數的向量（即爲子空間V的維度dim V）

此處證實較爲抽象故省略，創建這種直覺便可 

 

證實向量集S爲子空間V的基

定義：基S爲子空間V的一個 線性獨立生成集

線性獨立：作RREF便可判斷

生成集：已知dim V = k（經過RREF判斷），而S是V的子集且含k個向量

eg.判斷B是否爲V的基。

 

知足如下兩個條件，故B是V的基

• B中各向量獨立
• dim V = 3，B∈V且含有3個向量

 

12

	維度	基
Col A	Rank A	A的先導列
Null A	Nullity A =n-Rank A	Ax = 0的解向量
Row A	Rank A	A的RREF中非零行

 

13

當知足如下條件時，一組向量集B可做爲R ⁿ的座標系

• B中各向量獨立
• B中各向量張成Rⁿ

座標系B={u1,u2,...,un}爲Rn空間的基

 

座標系轉換

其餘系統↔笛卡爾座標系

14

機器學習

 

15

 

16

秩的更多性質

已知A _m×n、B _n×k，則Rank(AB) ≤ min(Rank(A), Rank(B))

證實

即證實如下兩條同時成立

a. Rank(AB) ≤ Rank(A)

b. Rank(AB) ≤ Rank(B)

先證(a)

對可逆矩陣Q _m×m，QA = R（RREF），因可逆矩陣是基礎矩陣的乘積，初等行變換不會改變行空間，

即行空間的維度不會變化，即Rank不變，故有Rank(QA) = Rank(A)

Rank(AB) = Rank(QAB) = Rank(RB)

Rank(A) = Rank(PA) = Rank(R)

R中非零行即爲Rank(R)，而RB的非零行≤R中非零行，即Rank(RB) ≤ Rank(R)，故有Rank(AB) ≤ Rank(A)

將(AB)^T帶入上式，可得Rank(AB) ≤ Rank(B)，綜上則有Rank(AB) ≤ min(Rank(A), Rank(B))

其餘性質（證實省略）

• 若Rank(B) = n → Rank(AB) = Rank(A)
• 若Rank(A) = n → Rank(AB) = Rank(B)
• Rank(A+B) ≤ Rank(A) + Rank(B)

 

行列式的更多性質

交換行會改變行列式的正負

對每行來講，行列式是線性的 

det(AB) = det(A)det(B)
det(A) = det(A^T)

 

17

Av = λv（λ爲特徵值，v爲特徵向量【非零】）

可認爲T(v) = Av，即對向量v的線性變換

即求解(A - λI _n)v = 0

即λ對應的特徵向量爲Null(A - λI _n)，又稱爲λ的特徵空間（eigenspace of λ）

 

判斷λ是否爲A的特徵值？

即判斷λ的特徵空間尺寸，若爲0 →  特徵空間僅含{0} → 沒有特徵向量 → λ不是特徵值

 

18 特徵多項式

值t爲方陣A的特徵值

↔ 存在v ≠ 0 使得(A-tIn)v = 0  
  ↔ (A-tIn)v = 0有多解 
  ↔  (A-tIn)的列線性相關
  ↔ Rank(A-tIn) < n
  ↔ (A-tIn)不可逆

  ↔ det(A-tI_n) = 0

特徵多項式性質
類似矩陣有相同的特徵多項式，即相同的特徵值
證實以下

A_n×n的特徵多項式次數爲n
n個特徵值（包含重根）之和 = A的跡
n個特徵值（包含重根）之積 = A的行列式
（上下）三角陣的特徵值爲其對角元素

特徵多項式與特徵空間


19 對角化

若A可對角化，即A = PDP-1
則AP = PD，即[ Ap₁  ··· Ap_n ] = [ d₁p₁ ··· d_np_n ]
pi即爲A的特徵向量，對應特徵值爲di

20 線性變換的對角化
矩陣A可對角化條件
A的特徵向量可組成Rⁿ維基，即各特徵向量相互獨立

以下圖，[T]_B爲B座標系下的線性變換矩陣，找到合適的座標系B能夠獲得較爲簡單的變換矩陣[T]_B



21 正交化
範數Norm：

點乘：

           

22 正交投影
非零向量集S的正交補（Orthogonal Complement）記爲S^⊥，S^⊥垂直於S中的每個向量
S^⊥ = { ν ：v·u = 0 , all u ∈ S }
(Row A)^⊥ = Null A
【釋】
A = Span{a₁ , a₂}，當且僅當a₁·v = a₂·v = 0時，v ∈ A^⊥
即A^⊥爲「 Av = 0 」的解，即爲Null A
【注】
對Rⁿ的任何子空間W，dimW + dimW^⊥ = n
                                     rank      nullity
eg.W = Span{w₁ , w₂}，w₁ = [1 1 -1 4]^T，w₂ = [1 -1 1 2]^T；W⊥ = Span{μ₁ , μ₂}，w1 = [1 1 -1 4]T，w2 = [1 -1 1 2]T