向量範數與矩陣範數（L0, L1, L2）

直觀理解

在實數域中，數的大小和兩個數之間的距離是經過絕對值來度量的。在解析幾何中，向量的大小和兩個向量之差的大小是「長度」和「距離」的概念來度量的。爲了對矩陣運算進行數值分析，咱們須要對向量和矩陣的「大小」引進某種度量。即範數是具備「長度」概念的函數。範數是絕對值概念的天然推廣。

向量範數Vector Norm

定義
若是向量 x∈Rn 的某個實值函數f(x)=||x||知足：

1. 正定性： ||x||≥0，且||x||=0當且僅當x=0；
2. 齊次性：對任意實數 α ，都有||αx||=|α| ||x||
3. 三角不等式：對任意x,y∈Rn，都有||x+y||≤||x||+||y||

則稱||x|| 爲 Rn上的一個向量範數

經常使用向量範數
L1 範數

||x||1=|x1|+|x2|+⋯+|xn|=∑in|xi|

L1 範數有不少名字，好比「稀疏規則算子」（Lasso regularization），還有曼哈頓範數(Manhattan norm)

L2範數

||x||2=(|x1|2+|x2|2+⋯+|xn|2)12=∑inx2i−−−−−√

L2範數也被稱爲Euclidean Norm。即若是用於計算兩個向量之間的不一樣，便是Euclidean Distance

Lp範數

||x||p=(|x1|p+|x2|p+⋯+|xn|p)1p=∑inxpi−−−−−√p

L∞ 範數

||x||∞=max1≤i≤n|xi|

很明顯L1和L2是Lp範數的特例，並且經證實，L∞ 也是Lp的特例，即

limp→∞||x||p=||x||∞

L0範數
另外還有L0，工程界通常將L0範數定義爲

||x||0=∑inI(xi≠0)

即向量中非零元素的數量

注意此時L0範數不知足齊次性，所以嚴格意義上講L0範數並非範數

例子
求向量x=(1,4,3,−1)T的各類經常使用範數

||x||0=4
||x||1=|x1|+|x2|+|x3|+|x4|=9
||x2||=12+42+32+(−1)2−−−−−−−−−−−−−−−−−√=27−−√
||x||∞=4

矩陣範數Matrix Norm

定義
若是矩陣A∈Rn×n 的某個實值函數f(X)=||A|| 知足

正定性： ||A||≥0且||A|| = 0當且僅當A=0
齊次性：對任意實數α ，都有||αA||=|α| ||A||
三角不等式：對任意A,B∈Rn×n都有 ||A+B||≤||A||+||B||
相容性：對任意A,B∈Rn×n ，都有||AB||≤||A|| ||B||

則稱||A||爲 Rn×n 上的一個矩陣範數

經常使用矩陣範數

列範數

||A||1=max1≤j≤n∑in|aij|

A的每列絕對值之和的最大值, 稱A的列範數

行範數

||A||∞=max1≤i≤n∑jn|aij|

A的每行絕對值之和的最大值, 稱A的行範數

L2範數

||A||2=λmax(ATA)−−−−−−−−−√

稱 A 的 2 − 範數

其中λmax爲ATA的特徵值的絕對值的最大值

F-範數

||A||F=(∑in∑jna2ij)12

結語
談了那麼多的範數，那麼L0, L1, L2中的L到底表明什麼呢？其實L表明了法國數學家Henri Léon Lebesgue(昂利·萊昂·勒貝格)，另外一個著名的勒貝格積分也是以他命名的。

另外想必你們見到範數最多的地方就是規則項那裏了，至於每種範數對算法的做用和影響可查看Reference 3和8 ，講得很是棒。