CV空間距離度量

 轉自：http://blog.sina.com.cn/s/blog_62bce98c0100stnc.html

 

在作分類時經常須要估算不一樣樣本之間的類似性度量(Similarity Measurement)，這時一般採用的方法就是計算樣本間的「距離」(Distance)。採用什麼樣的方法計算距離是很講究，甚相當繫到分類的正確與否。

　　本文的目的就是對經常使用的類似性度量做一個總結。

本文目錄：

1. 歐氏距離

2. 曼哈頓距離

3. 切比雪夫距離

4. 閔可夫斯基距離

5. 標準化歐氏距離

6. 馬氏距離

7. 夾角餘弦

8. 漢明距離

9. 傑卡德距離 & 傑卡德類似係數

10. 相關係數 & 相關距離

11. 信息熵

1. 歐氏距離(Euclidean Distance)

       歐氏距離是最易於理解的一種距離計算方法，源自歐氏空間中兩點間的距離公式。

(1)二維平面上兩點a(x1,y1)與b(x2,y2)間的歐氏距離：

 

(2)三維空間兩點a(x1,y1,z1)與b(x2,y2,z2)間的歐氏距離：

 

(3)兩個n維向量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的歐氏距離：

 

　　也能夠用表示成向量運算的形式：

 

(4)Matlab計算歐氏距離

 

Matlab計算距離主要使用pdist函數。若X是一個M×N的矩陣，則pdist(X)將X矩陣M行的每一行做爲一個N維向量，而後計算這M個向量兩兩間的距離。

 

例子：計算向量(0,0)、(1,0)、(0,2)兩兩間的歐式距離

 

X = [0 0 ; 1 0 ; 0 2]

 

D = pdist(X,'euclidean')

 

結果：

 

D =

    1.0000    2.0000    2.2361

 

2. 曼哈頓距離(Manhattan Distance)

      

從名字就能夠猜出這種距離的計算方法了。想象你在曼哈頓要從一個十字路口開車到另一個十字路口，駕駛距離是兩點間的直線距離嗎？顯然不是，除非你能穿越大樓。實際駕駛距離就是這個「曼哈頓距離」。而這也是曼哈頓距離名稱的來源， 曼哈頓距離也稱爲城市街區距離(City Block distance)。

 

(1)二維平面兩點a(x1,y1)與b(x2,y2)間的曼哈頓距離

 

 

(2)兩個n維向量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的曼哈頓距離

 

 

(3) Matlab計算曼哈頓距離

 

例子：計算向量(0,0)、(1,0)、(0,2)兩兩間的曼哈頓距離

 

X = [0 0 ; 1 0 ; 0 2]

D = pdist(X, 'cityblock')

 

結果：

D =

     1     2     3

3. 切比雪夫距離 ( Chebyshev Distance )

      

國際象棋玩過麼？國王走一步可以移動到相鄰的8個方格中的任意一個。那麼國王從格子(x1,y1)走到格子(x2,y2)最少須要多少步？本身走走試試。你會發現最少步數老是max( | x2-x1 | , | y2-y1 | ) 步。有一種相似的一種距離度量方法叫切比雪夫距離。

 

(1)二維平面兩點a(x1,y1)與b(x2,y2)間的切比雪夫距離

 

 

(2)兩個n維向量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的切比雪夫距離

 

　　這個公式的另外一種等價形式是

 

       看不出兩個公式是等價的？提示一下：試試用放縮法和夾逼法則來證實。

 

(3)Matlab計算切比雪夫距離

 

例子：計算向量(0,0)、(1,0)、(0,2)兩兩間的切比雪夫距離

 

X = [0 0 ; 1 0 ; 0 2]

D = pdist(X, 'chebychev')

 

結果：

D =

     1     2     2

 

4. 閔可夫斯基距離(Minkowski Distance)

 

閔氏距離不是一種距離，而是一組距離的定義。

 

(1) 閔氏距離的定義

      

兩個n維變量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的閔可夫斯基距離定義爲：

 

 

其中p是一個變參數。

 

當p=1時，就是曼哈頓距離

 

當p=2時，就是歐氏距離

 

當p→∞時，就是切比雪夫距離

      

 根據變參數的不一樣，閔氏距離能夠表示一類的距離。

 

(2)閔氏距離的缺點

　　

閔氏距離，包括曼哈頓距離、歐氏距離和切比雪夫距離都存在明顯的缺點。

　　

舉個例子：二維樣本(身高,體重)，其中身高範圍是150~190，體重範圍是50~60，有三個樣本：a(180,50)，b(190,50)，c(180,60)。那麼a與b之間的閔氏距離（不管是曼哈頓距離、歐氏距離或切比雪夫距離）等於a與c之間的閔氏距離，可是身高的10cm真的等價於體重的10kg麼？所以用閔氏距離來衡量這些樣本間的類似度頗有問題。

      

簡單說來，閔氏距離的缺點主要有兩個：(1)將各個份量的量綱(scale)，也就是「單位」看成相同的看待了。

(2)沒有考慮各個份量的分佈（指望，方差等)多是不一樣的。

 

(3)Matlab計算閔氏距離

 

例子：計算向量(0,0)、(1,0)、(0,2)兩兩間的閔氏距離（以變參數爲2的歐氏距離爲例）

 

X = [0 0 ; 1 0 ; 0 2]

D = pdist(X,'minkowski',2)

 

結果：

D =

    1.0000    2.0000    2.2361

5. 標準化歐氏距離 (Standardized Euclidean distance )

 

(1)標準歐氏距離的定義

　　

標準化歐氏距離是針對簡單歐氏距離的缺點而做的一種改進方案。標準歐氏距離的思路：既然數據各維份量的分佈不同，好吧！那我先將各個份量都「標準化」到均值、方差相等吧。均值和方差標準化到多少呢？這裏先複習點統計學知識吧，假設樣本集X的均值(mean)爲m，標準差(standard deviation)爲s，那麼X的「標準化變量」表示爲：

　　

並且標準化變量的數學指望爲0，方差爲1。所以樣本集的標準化過程(standardization)用公式描述就是：

　　

標準化後的值 =  ( 標準化前的值  － 份量的均值 ) /份量的標準差

　　

通過簡單的推導就能夠獲得兩個n維向量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的標準化歐氏距離的公式：

　　

若是將方差的倒數當作是一個權重，這個公式能夠當作是一種加權歐氏距離(Weighted Euclidean distance)。

 

(2)Matlab計算標準化歐氏距離

 

例子：計算向量(0,0)、(1,0)、(0,2)兩兩間的標準化歐氏距離 (假設兩個份量的標準差分別爲0.5和1)

 

X = [0 0 ; 1 0 ; 0 2]

D = pdist(X, 'seuclidean',[0.5,1])

 

結果：

D =

    2.0000    2.0000    2.8284

 

6. 馬氏距離(Mahalanobis Distance)

 

（1）馬氏距離定義

      

 有M個樣本向量X1~Xm，協方差矩陣記爲S，均值記爲向量μ，則其中樣本向量X到u的馬氏距離表示爲：

 

       而其中向量Xi與Xj之間的馬氏距離定義爲：

 

     

  若協方差矩陣是單位矩陣（各個樣本向量之間獨立同分布）,則公式就成了：

      

 也就是歐氏距離了。

　　

若協方差矩陣是對角矩陣，公式變成了標準化歐氏距離。

 

(2)馬氏距離的優缺點：量綱無關，排除變量之間的相關性的干擾。

 

(3) Matlab計算(1 2)，( 1 3)，( 2 2)，( 3 1)兩兩之間的馬氏距離

X = [1 2; 1 3; 2 2; 3 1]

Y = pdist(X,'mahalanobis')

 

 

結果：

Y =

    2.3452    2.0000    2.3452    1.2247    2.4495    1.2247

 

7. 夾角餘弦(Cosine)

      

有沒有搞錯，又不是學幾何，怎麼扯到夾角餘弦了？各位看官稍安勿躁。幾何中夾角餘弦可用來衡量兩個向量方向的差別，機器學習中借用這一律念來衡量樣本向量之間的差別。

 

(1)在二維空間中向量A(x1,y1)與向量B(x2,y2)的夾角餘弦公式：

 

(2) 兩個n維樣本點a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夾角餘弦

      

 相似的，對於兩個n維樣本點a(x11,x12,…,x1n)和b(x21,x22,…,x2n)，可使用相似於夾角餘弦的概念來衡量它們間的類似程度。

 

　　即：

 

      

 夾角餘弦取值範圍爲[-1,1]。夾角餘弦越大表示兩個向量的夾角越小，夾角餘弦越小表示兩向量的夾角越大。當兩個向量的方向重合時夾角餘弦取最大值1，當兩個向量的方向徹底相反夾角餘弦取最小值-1。

 

       夾角餘弦的具體應用能夠參閱參考文獻[1]。

 

(3)Matlab計算夾角餘弦

 

例子：計算(1,0)、( 1,1.732)、( -1,0)兩兩間的夾角餘弦

 

X = [1 0 ; 1 1.732 ; -1 0]

 

D = 1- pdist(X, 'cosine')  % Matlab中的pdist(X, 'cosine')獲得的是1減夾角餘弦的值

 

結果：

D =

    0.5000   -1.0000   -0.5000

 

8. 漢明距離(Hamming distance)

 

(1)漢明距離的定義

      

兩個等長字符串s1與s2之間的漢明距離定義爲將其中一個變爲另一個所須要做的最小替換次數。例如字符串「1111」與「1001」之間的漢明距離爲2。

      

應用：信息編碼（爲了加強容錯性，應使得編碼間的最小漢明距離儘量大）。

 

(2)Matlab計算漢明距離

　　

Matlab中2個向量之間的漢明距離的定義爲2個向量不一樣的份量所佔的百分比。

      

例子：計算向量(0,0)、(1,0)、(0,2)兩兩間的漢明距離

 

X = [0 0 ; 1 0 ; 0 2];

D = PDIST(X, 'hamming')

 

結果：

D =

    0.5000    0.5000    1.0000

 

9. 傑卡德類似係數(Jaccard similarity coefficient)

 

(1) 傑卡德類似係數

      

兩個集合A和B的交集元素在A，B的並集中所佔的比例，稱爲兩個集合的傑卡德類似係數，用符號J(A,B)表示。

　　傑卡德類似係數是衡量兩個集合的類似度一種指標。

 

(2) 傑卡德距離

      

與傑卡德類似係數相反的概念是傑卡德距離(Jaccard distance)。傑卡德距離可用以下公式表示：

　　

傑卡德距離用兩個集合中不一樣元素佔全部元素的比例來衡量兩個集合的區分度。

 

(3) 傑卡德類似係數與傑卡德距離的應用

       可將傑卡德類似係數用在衡量樣本的類似度上。

　　樣本A與樣本B是兩個n維向量，並且全部維度的取值都是0或

1。例如：A(0111)和B(1011)。咱們將樣本當作是一個集合，1表示集合包含該元素，0表示集合不包含該元素。

 

p ：樣本A與B都是1的維度的個數

 

q ：樣本A是1，樣本B是0的維度的個數

 

r ：樣本A是0，樣本B是1的維度的個數

 

s ：樣本A與B都是0的維度的個數

 

那麼樣本A與B的傑卡德類似係數能夠表示爲：

 

這裏p+q+r可理解爲A與B的並集的元素個數，而p是A與B的交集的元素個數。

而樣本A與B的傑卡德距離表示爲：

 

(4)Matlab 計算傑卡德距離

 

Matlab的pdist函數定義的傑卡德距離跟我這裏的定義有一些差異，Matlab中將其定義爲不一樣的維度的個數佔「非全零維度」的比例。

 

例子：計算(1,1,0)、(1,-1,0)、(-1,1,0)兩兩之間的傑卡德距離

X = [1 1 0; 1 -1 0; -1 1 0]

D = pdist( X , 'jaccard')

 

結果

D =

0.5000    0.5000    1.0000

 

10. 相關係數 ( Correlation coefficient )與相關距離(Correlation distance)

 

(1) 相關係數的定義

 

相關係數是衡量隨機變量X與Y相關程度的一種方法，相關係數的取值範圍是[-1,1]。相關係數的絕對值越大，則代表X與Y相關度越高。當X與Y線性相關時，相關係數取值爲1（正線性相關）或-1（負線性相關）。

 

(2)相關距離的定義

 

 

(3)Matlab計算(1, 2 ,3 ,4 )與( 3 ,8 ,7 ,6 )之間的相關係數與相關距離

 

X = [1 2 3 4 ; 3 8 7 6]

 

C = corrcoef( X' )   %將返回相關係數矩陣

 

D = pdist( X , 'correlation')

 

結果：

 

C =

    1.0000    0.4781

    0.4781    1.0000

 

D =

0.5219

     

其中0.4781就是相關係數，0.5219是相關距離。

 

11. 信息熵(Information Entropy)

      

信息熵並不屬於一種類似性度量。那爲何放在這篇文章中啊？這個。。。我也不知道。 (╯▽╰)

 

信息熵是衡量分佈的混亂程度或分散程度的一種度量。分佈越分散(或者說分佈越平均)，信息熵就越大。分佈越有序（或者說分佈越集中），信息熵就越小。

      

計算給定的樣本集X的信息熵的公式：參數的含義：

 

n：樣本集X的分類數

 

pi：X中第i類元素出現的機率

      

信息熵越大代表樣本集S分類越分散，信息熵越小則代表樣本集X分類越集中。。當S中n個分類出現的機率同樣大時（都是1/n），信息熵取最大值log₂(n)。當X只有一個分類時，信息熵取最小值0

參考資料： 

 

[1]吳軍. 數學之美 系列 12 - 餘弦定理和新聞的分類.

http://www.google.com.hk/ggblog/googlechinablog/2006/07/12_4010.html

 

[2] Wikipedia. Jaccard index.

http://en.wikipedia.org/wiki/Jaccard_index

 

[3] Wikipedia. Hamming distance

http://en.wikipedia.org/wiki/Hamming_distance

 

[4] 求馬氏距離（Mahalanobis distance ）matlab版

http://junjun0595.blog.163.com/blog/static/969561420100633351210/

 

[5] Pearson product-moment correlation coefficient

http://en.wikipedia.org/wiki/Pearson_product-moment_correlation_coefficient