範數

1 範數

向量的範數能夠簡單形象的理解爲向量的長度，或者向量到零點的距離，或者相應的兩個點之間的距離。

向量的範數定義：向量的範數是一個函數||x||,知足非負性||x|| >= 0，齊次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。

經常使用的向量的範數：
L1範數:  ||x|| 爲x向量各個元素絕對值之和。
L2範數:  ||x||爲x向量各個元素平方和的1/2次方，L2範數又稱Euclidean範數或者Frobenius範數
Lp範數:  ||x||爲x向量各個元素絕對值p次方和的1/p次方

L∞範數:  ||x||爲x向量各個元素絕對值最大那個元素的絕對值，以下：

橢球向量範數: ||x||A  = sqrt[T(x)Ax]， T(x)表明x的轉置。

定義矩陣C 爲M個模式向量的協方差矩陣， 設C’是其逆矩陣，則Mahalanobis距離定義爲||x||C’  = sqrt[T(x)C’x], 這是一個關於C’的橢球向量範數。

2 距離

歐式距離（對應L2範數）：最多見的兩點之間或多點之間的距離表示法，又稱之爲歐幾里得度量，它定義於歐幾里得空間中。n維空間中兩個點x1(x11,x12,…,x1n)與 x2(x21,x22,…,x2n)間的歐氏距離：

也能夠用表示成向量運算的形式：

曼哈頓距離：曼哈頓距離對應L1-範數，也就是在歐幾里得空間的固定直角座標系上兩點所造成的線段對軸產生的投影的距離總和。例如在平面上，座標（x1, y1）的點P1與座標（x2, y2）的點P2的曼哈頓距離爲：，要注意的是，曼哈頓距離依賴座標系統的轉度，而非系統在座標軸上的平移或映射。

切比雪夫距離，若二個向量或二個點x1和x2，其座標分別爲(x11, x12, x13, ... , x1n)和(x21, x22, x23, ... , x2n)，則兩者的切比雪夫距離爲：d = max(|x1i - x2i|)，i從1到n。對應L∞範數。

閔可夫斯基距離(Minkowski Distance)，閔氏距離不是一種距離，而是一組距離的定義。對應Lp範數，p爲參數。

閔氏距離的定義：兩個n維變量（或者兩個n維空間點）x1(x11,x12,…,x1n)與 x2(x21,x22,…,x2n)間的閔可夫斯基距離定義爲： 

其中p是一個變參數。

當p=1時，就是曼哈頓距離，

當p=2時，就是歐氏距離，

當p→∞時，就是切比雪夫距離，       

根據變參數的不一樣，閔氏距離能夠表示一類的距離。 

Mahalanobis距離：也稱做馬氏距離。在近鄰分類法中，常採用歐式距離和馬氏距離。

 

參考資料：

http://blog.csdn.net/v_july_v/article/details/8203674