線性代數基礎

時間 2019-11-08

標籤線性代數基礎简体版

原文原文鏈接

標量

定義

一個單獨的數數組

表示

斜體小寫字母：
希臘字母： $\alpha$

向量

定義

具備大小（magnitude）和方向的量機器學習

表示

粗體小寫字母： $\boldsymbol{x}$
粗體希臘字母：
箭頭表示： $\vec{X}$
元素： $x_{i}$

模

$|\overrightarrow{\mathbf{a}}|=\sqrt{\mathbf{x}_{1}^{2}+\mathbf{x}_{2}^{2}+\cdots+\mathbf{x}_{\mathrm{N}}^{2}}$

範數

在一個維線性空間中，若對於任意向量 $\mathrm{x} \in \mathrm{V}$ ,均有非負實數 $\|\mathbf{X}\|$ ,而且其知足下列三個條件:學習

（非負性）: $\|\mathrm{x}\| \geq 0$ 當且僅當 $\mathrm{x}=0$ 時 $\|x\|=0$
（齊次性）: $\|\lambda \mathrm{x}\|=|\lambda| \cdot\|x\|$
（三角不等式）: $\|\mathrm{x}+\mathrm{y}\| \leq\|x\|+\|y\| ; x, y \in V$

則稱 $\|X\|$ 是向量的向量範數。3d

1-範數

$\|\overrightarrow{\mathbf{x}}\|_{1}=\sum\left|\mathbf{x}_{\mathbf{i}}\right|$ $\|x\|_{1}=\sum_{i=1}^{n}\left|x_{i}\right|$

2-範數（歐式範數）

$\|\overrightarrow{\mathbf{x}}\|_{2}=\sqrt{\mathbf{x}_{1}^{2}+\mathbf{x}_{2}^{2}+\cdots+\mathbf{x}_{\mathrm{N}}^{2}}$ $\|x\|_{2}=\sqrt{\sum_{i=1}^{n} x_{i}^{2}}$

∞-範數（無窮範數）

$\|\overrightarrow{\mathbf{x}}\|_{\infty}=\max \left|\mathbf{x}_{\mathbf{i}}\right|$ $\|x\|_{n}=\max \left|x_{i}\right|$

運算

加法

$\left[\begin{array}{c}{x_{1}} \\ {\vdots} \\ {x_{n}}\end{array}\right]+\left[\begin{array}{c}{y_{1}} \\ {\vdots} \\ {y_{n}}\end{array}\right]=\left[\begin{array}{c}{x_{1}+y_{1}} \\ {\vdots} \\ {x_{n}+y_{n}}\end{array}\right]$

$\left[\begin{array}{llll}{x_{1}} & {\cdots} & {x_{n}}\end{array}\right]+\left[\begin{array}{lll}{y_{1}} & {\cdots} & {y_{n}}\end{array}\right]=\left[\begin{array}{llll}{x_{1}+y_{1}} & {\cdots} & {x_{1}+y_{n}}\end{array}\right]$

數乘

$\boldsymbol{c} \cdot\left[\begin{array}{c}{\boldsymbol{x}_{1}} \\ {\vdots} \\ {\boldsymbol{x}_{\boldsymbol{n}}}\end{array}\right]=\left[\begin{array}{c}{\boldsymbol{c} \cdot \boldsymbol{x}_{1}} \\ {\vdots} \\ {\boldsymbol{c} \cdot \boldsymbol{x}_{\boldsymbol{n}}}\end{array}\right]$

$c \cdot\left[\begin{array}{lll}{x_{1}} & {\cdots} & {x_{n}}\end{array}\right]=\left[\begin{array}{lll}{c \cdot x_{1}} & {\cdots} & {c \cdot x_{n}}\end{array}\right]$

點積

$\vec{a}=\left[a_{1,} a_{2} \cdots a_{n}\right]$ $\vec{b}=\left[b_{1}, b_{2}, \cdots, b_{n}\right]$

定義

$\vec{a} \cdot \vec{b}=\sum_{i=1}^{n} a_{i} b_{i}=a_{1} b_{1}+a_{2} b_{2}+\cdots+a_{n} b_{n}$

$\vec{a} \cdot \vec{b}=\left|\vec{a} \cdot \vec{b}^{\mathrm{T}}\right|$

幾何定義

$\overrightarrow{\mathbf{a}} \cdot \overrightarrow{\mathbf{b}}=|\mathbf{a}||\mathbf{b}| \cos \theta$

高維

$\langle\overrightarrow{\mathbf{a}}, \overrightarrow{\mathbf{b}}\rangle=\sum_{i=1}^{\mathbf{n}} \mathbf{a}_{\mathbf{i}} \mathbf{b}_{\mathbf{i}}$

矩陣

機器學習基礎公式cdn

$y=f(x)=x w^{T}+b$

定義

二維數組blog

表示

$\left[\begin{array}{ccc}{a_{11}} & {\cdots} & {a_{1 N}} \\ {\vdots} & {\ddots} & {\vdots} \\ {a_{M 1}} & {\cdots} & {a_{M N}}\end{array}\right]$

大寫字母： $\mathrm{A}$
m×n 矩陣 A： $\mathrm{A}_{m n}$

運算

加法

對應元素相加it

$A+B=C \Rightarrow a_{i j}+b_{i j}=c_{i j}$

$\left[\begin{array}{ccc}{a_{11}} & {\cdots} & {a_{1 N}} \\ {\vdots} & {\ddots} & {\vdots} \\ {a_{M 1}} & {\cdots} & {a_{M N}}\end{array}\right]+\left[\begin{array}{ccc}{b_{11}} & {\cdots} & {b_{1 N}} \\ {\vdots} & {\ddots} & {\vdots} \\ {b_{M 1}} & {\cdots} & {b_{M N}}\end{array}\right]=\left[\begin{array}{ccc}{a_{11}+b_{11}} & {\cdots} & {a_{1 N}+b_{1 N}} \\ {\vdots} & {\ddots} & {\vdots} \\ {a_{M 1}+b_{M 1}} & {\cdots} & {a_{M N}+b_{M N}}\end{array}\right]$

基本性質

交換率： $(\boldsymbol{A}+\boldsymbol{B})+\boldsymbol{C}=\boldsymbol{A}+(\boldsymbol{B}+\boldsymbol{C})$
結合率： $\boldsymbol{A}+\boldsymbol{B}=\boldsymbol{B}+\boldsymbol{A}$

乘法

$\mathrm{A}_{m n}$

$\mathrm{B}_{n p}$

$\boldsymbol{A}$ 的列數與 $\boldsymbol{B}$ 的行數相等io

$\mathrm{C}_{m p}$

$C_{i j}=\sum_{k} A_{i k} B_{k j}$

$A=\left[\begin{array}{ccc}{a_{11}} & {\cdots} & {a_{1 N}} \\ {\vdots} & {\ddots} & {\vdots} \\ {a_{M 1}} & {\cdots} & {a_{M N}}\end{array}\right]$

$B=\left[\begin{array}{ccc}{b_{11}} & {\cdots} & {b_{1 P}} \\ {\vdots} & {\ddots} & {\vdots} \\ {b_{N 1}} & {\cdots} & {b_{N P}}\end{array}\right]$

$C=\left[\begin{array}{ccc}{c_{11}} & {\cdots} & {c_{1 P}} \\ {\vdots} & {\ddots} & {\vdots} \\ {c_{M 1}} & {\cdots} & {c_{M P}}\end{array}\right]$

$c_{i j}=a_{i 1} b_{1 j}+\cdots+a_{i m} b_{m j}=\sum_{k=1}^{m} a_{i k} b_{k j}$

矩陣乘法通常不知足交換律

轉置

$\boldsymbol{A}^{\top}$

定義

$\left(\boldsymbol{A}^{\top}\right)_{i, j}=A_{j, i}$

特殊矩陣

單位矩陣

$\left[\begin{array}{lll}{1} & {0} & {0} \\ {0} & {1} & {0} \\ {0} & {0} & {1}\end{array}\right]$

零矩陣 / 全0矩陣

$\left[\begin{array}{lll}{0} & {0} & {0} \\ {0} & {0} & {0} \\ {0} & {0} & {0}\end{array}\right]$

全1矩陣

$\left[\begin{array}{lll}{1} & {1} & {1} \\ {1} & {1} & {1} \\ {1} & {1} & {1}\end{array}\right]$

對角矩陣

$\left[\begin{array}{ccc}{a_{11}} & {0} & {0} \\ {0} & {a_{22}} & {0} \\ {0} & {0} & {a_{33}}\end{array}\right]$

上三角矩陣

$\left[\begin{array}{ccc}{a_{11}} & {a_{21}} & {a_{31}} \\ {0} & {a_{22}} & {a_{32}} \\ {0} & {0} & {a_{33}}\end{array}\right]$

下三角矩陣

$\left[\begin{array}{lll}{a_{11}} & {0} & {0} \\ {a_{12}} & {a_{22}} & {0} \\ {a_{13}} & {a_{23}} & {a_{33}}\end{array}\right]$

基本性質

乘法結合律： $\left(\boldsymbol{A B}\right)\boldsymbol{C}=\boldsymbol{A}\left(\boldsymbol{B C}\right)$
乘法左分配律： $\left(\boldsymbol{A+B}\right)\boldsymbol{C}=\boldsymbol{A C}+\boldsymbol{BC}$
乘法右分配律： $\boldsymbol{C}\left(\boldsymbol{A+B}\right)=\boldsymbol{C A}+\boldsymbol{CB}$
對數乘的結合性： $k\left(\boldsymbol{A B}\right)=\left(k\boldsymbol{A}\right)\boldsymbol{B}=\boldsymbol{A}\left(k\boldsymbol{B}\right)$
轉置 $\left(\boldsymbol{A B}\right)^{\top}=\boldsymbol{B}^{\top}\boldsymbol{A}^{\top}$

線性相關

向量空間的一組元素中，若沒有向量可用有限個其餘向量的線性組合所表示，則稱爲 線性無關 或 線性獨立，反之稱爲 線性相關(linearly dependent)。class

結論

含有零向量的向量組必定線性相關
單位向量組線性無關

秩

向量組的秩

一個向量組的秩是的線性無關的向量的個數基礎

矩陣的秩

若是把一個向量組當作一個矩陣，則向量組的秩就是矩陣的秩

範數

在一個維線性空間中，若對於任意矩陣 $\mathrm{A} \in \mathrm{V}$ ,均有非負實數 $\|\mathbf{A}\|$ ,而且其知足下列四個條件:

（非負性）: $\|A\| \geq 0$ 當且僅當時 $\|A\|=0$
（齊次性）: $\|\lambda \mathrm{A}\|=|\lambda| \bullet\|A\|$
（三角不等式）: $\|\mathrm{A}+\mathrm{B}\| \leq\|\mathrm{A}\|+\|\mathrm{B}\| ; \mathrm{A}, \mathrm{B} \in V$
（相容性）: $\|A B\| \leq\|A\| \bullet\|B\| ; A, B \in V$

則稱 $\|A\|$ 是向量的向量範數。

1-範數（列範數）

$\|A\|_{1}=\max _{1 \leq j \leq n} \sum_{i=1}^{n}\left|a_{i j}\right|$

∞-範數（行範數）

$\|A\|_{\infty}=\max _{1 \leq i \leq n} \sum_{j=1}^{n}\left|a_{i j}\right|$

2-範數

$\|A\|_{2}=\sqrt{\lambda_{\max }\left(A^{T} A\right)}$

$\lambda_{\max }\left(A^{T} A\right)$ 爲 $A^{T} A$ 的特徵值的絕對值的最大值

範數做用

計算向量/矩陣類似程度
計算向量距離

跡

在線性代數中，一個 $n \times n$ 的矩陣的跡（或跡數），是指的 主對角線（從左上方至右下方的對角線）上各個元素的總和，通常記做或 $\operatorname{tr}(\mathbf{A})$ ：

$\operatorname{tr}(\mathbf{A})=\mathbf{A}_{1,1}+\mathbf{A}_{2,2}+\cdots+\mathbf{A}_{n, n}$

一個矩陣的跡是其 特徵值 的總和（按代數重數計算）。

線性變換

n 個向量 $x_{1}, x_{2}, \cdots, x_{n}$ 與 m 個向量 $\boldsymbol{y}_{1}, \boldsymbol{y}_{2}, \cdots, \boldsymbol{y}_{m}$ 之間的關係

$\left\{\begin{aligned} y_{1} &=a_{11} x_{1}+a_{12} x_{2}+\cdots+a_{1 n} x_{n} \\ y_{2} &=a_{21} x_{1}+a_{22} x_{2}+\cdots+a_{2 n} x_{n} \\ & \ldots \ldots \ldots \ldots \ldots \ldots \ldots \ldots \ldots \\ y_{m} &=a_{m 1} x_{1}+a_{m 2} x_{2}+\cdots+a_{m n} x_{n} \end{aligned}\right.$

表示從一個變量 $x_{1}, x_{2}, \cdots, x_{n}$ 到變量 $y_{1}, y_{2}, \cdots, y_{m}$ 的線性變換。

其中

$a_{i j}$ 爲常數
$\boldsymbol{n} \neq \boldsymbol{m}$

$A=\left(\begin{array}{cccc}{a_{11}} & {a_{12}} & {\cdots} & {a_{1 n}} \\ {a_{21}} & {a_{22}} & {\cdots} & {a_{2 n}} \\ {\cdots} & {\cdots} & {\cdots} & {\cdots} \\ {a_{m 1}} & {a_{m 1}} & {\cdots} & {a_{m n}}\end{array}\right)$

係數矩陣

稱之爲 線性變換 的矩陣

線性變換 與矩陣是惟一肯定的。

特徵值與特徵向量

設爲階矩陣，若存在常數 $\lambda$ 及維非零向量，使得

$A x=\lambda x(x \neq 0)$

則稱 $\lambda$ 是矩陣的 特徵值，是對就特徵值 $\lambda$ 的 特徵向量。

$(A-\lambda I) x=0$ $|A-\lambda I|=0$

$\left|\begin{array}{cccc}{a_{11}-\lambda} & {a_{12}} & {\cdots} & {a_{1 n}} \\ {a_{21}} & {a_{22}-\lambda} & {\cdots} & {a_{2 n}} \\ {\cdots} & {\cdots} & {\cdots} & {\cdots} \\ {a_{n 1}} & {a_{n 2}} & {\cdots} & {a_{m n}-\lambda}\end{array}\right|=0$

稱爲矩陣的特徵方程

應用

主成分分析
流行學習
LDA

正交投影

二次型

n 個變量 $x_{1}, x_{2}, \cdots, x_{n}$ 的二次齊次多項式

$\begin{aligned} f\left(x_{1}, x_{2}, \cdots, x_{n}\right) &=a_{11} x_{1}^{2}+a_{12} x_{1} x_{2}+\cdots+a_{1 n} x_{1} x_{n} \\ &+a_{21} x_{2} x_{1}+a_{22} x_{2}^{2}+\cdots+a_{2 n} x_{2} x_{n} \\ &+\cdots \\ &+a_{n 1} x_{n} x_{1}+a_{n 2} x_{n} x_{2}+\cdots+a_{n n} x_{n}^{2} \end{aligned}$

其中 $a_{i j}=a_{j i}, 1 \leq i, j \leq n$

令

$A=\left(\begin{array}{cccc}{a_{11}} & {a_{12}} & {\cdots} & {a_{1 n}} \\ {a_{21}} & {a_{22}} & {\cdots} & {a_{2 n}} \\ {\vdots} & {\vdots} & {} & {\vdots} \\ {a_{n 1}} & {a_{n 2}} & {\cdots} & {a_{n n}}\end{array}\right), \quad X=\left(\begin{array}{c}{x_{1}} \\ {x_{2}} \\ {\vdots} \\ {x_{n}}\end{array}\right)$

則多項式可寫爲：

$f\left(x_{1}, x_{2}, \cdots, x_{n}\right)=X^{T} A X$

該多項式是元二次型，簡稱 二次型 該多項式也爲二次型的矩陣形式

二次型通過變換，能夠寫成平方和形式

$\mathrm{d}_{1} y_{1}^{2}+\mathrm{d}_{2} y_{2}^{2}+\cdots+\mathrm{d}_{n} y_{n}^{2}$

稱爲多項式一個標準型。

[注]

任一二次型的標準型是存在的。

可應用配方法獲得二次型的標準型。

矩陣分解

QR分解

設非奇異矩陣 $A \in R^{n \times n}$ ，則必定存在正交矩陣 ,上三角矩陣 ,使

且當的主對角元素均爲正數時，該分解式是惟一的。

[注]: 正交矩陣是 $\mathrm{QQ}^{\top}=\mathrm{E}$

SVD 奇異值分解

設是秩爲的 $m \times n$ 實矩陣，則存在階正交矩陣與階正交矩陣，

使得

$\boldsymbol{U}^{\mathrm{T}} \boldsymbol{A} \boldsymbol{V}=\left[\begin{array}{cc}{\Sigma} & {\boldsymbol{O}} \\ {\boldsymbol{O}} & {\boldsymbol{O}}\end{array}\right]=S$

其中 $\Sigma=\operatorname{diag}\left(\sigma_{1}, \sigma_{2}, \cdots, \sigma_{r}\right) \quad(i=1,2, \cdots, r)$ $\sigma_{1} \geq \cdots \geq \sigma_{r}>0$ 爲矩陣A的所有奇異值