【深度學習中的線性代數理解】中的各類量理解：標量、向量、矩陣、張量

 

標量、向量、矩陣、張量之間的聯繫

    在深度學習中，你們確定都知道這幾個詞：標量（Scalar），向量（Vector），矩陣（Matrix），張量（Tensor）。可是要是讓咱們具體說下他們，可能一會兒找不出頭緒。下面介紹一下他們之間的關係：

標量（scalar)

​一個標量表示一個單獨的數，它不一樣於線性代數中研究的其餘大部分對象（一般是多個數的數組）。咱們用斜體表示標量。標量一般被賦予小寫的變量名稱。如：a

 向量（vector）

​一個向量表示一組有序排列的數。經過次序中的索引，咱們能夠肯定每一個單獨的數。一般咱們賦予向量粗體的小寫變量名稱。當咱們須要明確表示向量中的元素時，咱們會將元素排列成一個方括號包圍的縱柱：如 a.

矩陣（matrix）​

矩陣是一個二維數組，其中每個元素由兩個索引所肯定。一個有m行，n列，每一個元素都屬於 RR 的矩陣記做 A∈R^m×n. 一般使用大寫變量名稱，如A

 

張量（tensor）

超過兩維的數組叫作張量。

在某些狀況下，咱們會討論座標超過兩維的數組，通常的，一個數組中的元素分佈在若干維座標的規則網格中，咱們稱之爲張量。咱們使用字體 A 來表示張量「A」。張量A中座標爲(i,j,k) 的元素記做 A_i,j,k .

 

四者之間關係

 

標量是0階張量，向量是一階張量。

舉例：

​標量就是知道棍子的長度，可是你不會知道棍子指向哪兒。

​向量就是不但知道棍子的長度，還知道棍子指向前面仍是後面。

​張量就是不但知道棍子的長度，也知道棍子指向前面仍是後面，還能知道這棍子又向上/下和左/右偏轉了多少。

 

 

向量和矩陣的範數概括

　　　　

 向量的範數(norm)

 

 向量的1範數：

向量的2範數：

 

 向量的負無窮範數：

 

  向量的正無窮範數：

 

  向量的p範數：

 

 

矩陣的範數

　　

　　當向量取不一樣範數時, 相應獲得了不一樣的矩陣範數。

 矩陣的1範數（列範數）： 

 矩陣的每一列上的元素絕對值先求和，再從中取個最大的,（列和最大）；

 矩陣的2範數：

矩陣的無窮範數（行範數）：

矩陣的每一行上的元素絕對值先求和，再從中取個最大的，（行和最大）.

上述矩陣A的行範數先獲得[6；16] ，再取最大的最終結果就是：16。

矩陣的核範數：

矩陣的奇異值（將矩陣svd分解）之和，這個範數能夠用來低秩表示（由於最小化核範數，至關於最小化矩陣的秩——低秩）

矩陣的L0範數：

矩陣的非0元素的個數，一般用它來表示稀疏，L0範數越小0元素越多，也就越稀疏.

上述矩陣A 最終結果就是：6

矩陣的L1範數：

矩陣中的每一個元素絕對值之和，它是L0範數的最優凸近似，所以它也能夠表示稀疏.

上述矩陣AAA最終結果就是：22。

矩陣的F範數：

矩陣的各個元素平方之和再開平方根，它一般也叫作矩陣的L2範數，它的有點在它是一個凸函數，能夠求導求解，易於計算.

上述矩陣A最終結果就是：10.0995。

  矩陣的 p範數:

 其餘線性代數的標量學習

 

行列式：（數學上定義爲一個函數）

轉置（transpose）

 

  

　　注意：

　　向量能夠看做只有一列的矩陣， 對應地，向量的轉置結果能夠看做只有一行的矩陣。
　　標量的轉置等於自身。

矩陣運算

 　　矩陣能夠進行加法、乘法計算。

矩陣乘法（Matrix Product）

   兩個矩陣的標準乘積不是兩個矩陣中對應元素的乘積。 

  向量的點積（dot Product）：（能夠理解成矩陣乘積Matrix Product）

  注意：

　　向量點積結果必然是一個實數，即一個一行一列的矩陣。

矩陣乘法分配律 

 

矩陣乘積結合律 

　　注意：矩陣乘積並不知足交換律，然而，兩個向量的點積知足交換律

 

　　矩陣乘積的轉置有着簡單的形式

 

 單位矩陣（identity matrix）

 單位矩陣全部沿對角線的元素都是1， 而其它位置的全部元素都是0。

任意向量和單位矩陣相乘，都不會改變。

 逆矩陣

 

 

 

 

 

 

 

 

 

 

 

 

 

endl;