利用Minhash和LSH尋找類似的集合

from: https://www.cnblogs.com/bourneli/archive/2013/04/04/2999767.html

問題背景

給出N個集合，找到類似的集合對，如何實現呢？直觀的方法是比較任意兩個集合。那麼能夠十分精確的找到每一對類似的集合，可是時間複雜度是O(n²)。當N比較小時，好比K級，此算法能夠在接受的時間範圍內完成，可是若是N變大時，比B級，甚至P級，那麼須要的時間是不可以被接受的。好比N= 1B = 1,000,000,000。一臺計算機每秒能夠比較1,000,000,000對集合是否相等。那麼大概須要15年的時間才能找到全部類似的集合！

 

上面的算法雖然效率很低，可是結果會很精確，由於檢查了每一對集合。假如，N個集合中只有少數幾對集合類似，絕大多數集合都不等呢？那麼根據上述算法，絕大多數檢測的結果是兩個結合不類似，能夠說這些檢測「浪費了計算時間」。因此，若是能找到一種算法，將大致上類似的集合聚到一塊兒，縮小比對的範圍，這樣只用檢測較少的集合對，就能夠找到絕大多數類似的集合對，大幅度減小時間開銷。雖然犧牲了一部分精度，可是若是可以將時間大幅度減小，這種算法仍是能夠接受的。接下來的內容講解如何使用Minhash和LSH（Locality-sensitive Hashing）來實現上述目的，在類似的集合較少的狀況下，能夠在O(n)時間找到大部分類似的集合對。

 

 

Jaccard類似度

判斷兩個集合是否相等，通常使用稱之爲Jaccard類似度的算法（後面用Jac(S₁,S₂)來表示集合S₁和S₂的Jaccard類似度）。舉個列子，集合X = {a,b,c}，Y = {b,c,d}。那麼Jac(X,Y) = 2 / 3 = 0.67。也就是說，結合X和Y有67%的元素相同。下面是形式的表述Jaccard類似度公式：

Jac(X,Y) = |X∩Y| / |X∪Y|

也就是兩個結合交集的個數比上兩個集合並集的個數。範圍在[0,1]之間。

 

 

降維技術Minhash

原始問題的關鍵在於計算時間太長。因此，若是可以找到一種很好的方法將原始集合壓縮成更小的集合，並且又不失去類似性，那麼能夠縮短計算時間。Minhash能夠幫助咱們解決這個問題。舉個例子，S₁ = {a,d,e}，S₂ = {c, e}，設全集U = {a,b,c,d,e}。集合能夠以下表示：

行號	元素	S1	S2	類別
1	a	1	0	Y
2	b	0	0	Z
3	c	0	1	Y
4	d	1	0	Y
5	e	1	1	X

表1

表1中，列表示集合，行表示元素，值1表示某個集合具備某個值，0則相反（X，Y，Z的意義後面討論）。Minhash算法大致思路是：採用一種hash函數，將元素的位置均勻打亂，而後將新順序下每一個集合第一個元素做爲該集合的特徵值。好比哈希函數h₁(i) = (i + 1) % 5，其中i爲行號。做用於集合S₁和S₂，獲得以下結果：

行號	元素	S1	S2	類別
1	e	1	1	X
2	a	1	0	Y
3	b	0	0	Z
4	c	0	1	Y
5	d	1	0	Y
Minhash		e	e

表2

這時，Minhash(S₁) = e，Minhash(S₂) = e。也就是說用元素e表示S₁，用元素e表示集合S₂。那麼這樣作是否科學呢？進一步，若是Minhash(S₁) 等於Minhash(S₂)，那麼S₁是否和S₂相似呢？

 

一個神奇的結論

P(Minhash(S­₁) = Minhash(S₂)) = Jac(S₁,S₂)

在哈希函數h₁均勻分佈的狀況下，集合S₁的Minhash值和集合S₂的Minhash值相等的機率等於集合S₁與集合S₂的Jaccard類似度，下面簡單分析一下這個結論。

S₁和S₂的每一行元素能夠分爲三類：

l  X類 均爲1。好比表2中的第1行，兩個集合都有元素e。

l  Y類 一個爲1，另外一個爲0。好比表2中的第2行，代表S₁有元素a，而S₂沒有。

l  Z類 均爲0。好比表2中的第3行，兩個集合都沒有元素b。

這裏忽略全部Z類的行，由於此類行對兩個集合是否類似沒有任何貢獻。因爲哈希函數將原始行號均勻分佈到新的行號，這樣能夠認爲在新的行號排列下，任意一行出現X類的狀況的機率爲|X|/(|X|+|Y|)。這裏爲了方便，將任意位置設爲第一個出現X類行的行號。因此P(第一個出現X類) = |X|/(|X|+|Y|) = Jac(S₁,S₂)。這裏很重要的一點就是要保證哈希函數能夠將數值均勻分佈，儘可能減小衝撞。

 

通常而言，會找出一系列的哈希函數，好比h個（h << |U|），爲每個集合計算h次Minhash值，而後用h個Minhash值組成一個摘要來表示當前集合（注意Minhash的值的位置須要保持一致）。舉個列子，仍是基於上面的例子，如今又有一個哈希函數h₂(i) = (i -1)% 5。那麼獲得以下集合：

行號	元素	S1	S2	類別
1	b	0	0	Z
2	c	0	1	Y
3	d	1	0	Y
4	e	1	1	X
5	a	1	0	Y
Minhash		d	c

表3

 

因此，如今用摘要表示的原始集合以下：

哈希函數	S1	S2
h1(i) = (i + 1) % 5	e	e
h2(i) = (i - 1) % 5	d	c

表4

從表四還能夠獲得一個結論，令X表示Minhash摘要後的集合對應行相等的次數（好比表4，X=1，由於哈希函數h₁狀況下，兩個集合的minhash相等，h₂不等）：

X ~ B(h,Jac(S₁,S₂))

X符合次數爲h，機率爲Jac(S₁,S₂)的二項分佈。那麼指望E(X) = h * Jac(S₁,S₂) = 2 * 2 / 3 = 1.33。也就是每2個hash計算Minhash摘要，能夠指望有1.33元素對應相等。

因此，Minhash在壓縮原始集合的狀況下，保證了集合的類似度沒有被破壞。

 

 

LSH – 局部敏感哈希

如今有了原始集合的摘要，可是仍是沒有解決最初的問題，仍然須要遍歷全部的集合對,，才能全部類似的集合對，複雜度仍然是O(n²)。因此，接下來描述解決這個問題的核心思想LSH。其基本思路是將類似的集合彙集到一塊兒，減少查找範圍，避免比較不類似的集合。仍然是從例子開始，如今有5個集合，計算出對應的Minhash摘要，以下：

	S1	S2	S3	S4	S5
區間1	b	b	a	b	a
	c	c	a	c	b
	d	b	a	d	c
區間2	a	e	b	e	d
	b	d	c	f	e
	e	a	d	g	a
區間3	d	c	a	h	b
	a	a	b	b	a
	d	e	a	b	e
區間4	d	a	a	c	b
	b	a	c	b	a
	d	e	a	b	e

表5

上面的集合摘要採用了12個不一樣的hash函數計算出來，而後分紅了B = 4個區間。前面已經分析過，任意兩個集合（S₁，S₂）對應的Minhash值相等的機率r = Jac(S₁，S₂)。先分析區間1，在這個區間內，P(集合S₁等於集合S₂) = r³。因此只要S­₁和S₂的Jaccard類似度越高，在區間1內越有可能完成全一致，反過來也同樣。那麼P(集合S₁不等於集合S₂) = 1 - r³。如今有4個區間，其餘區間與第一個相同，因此P(4個區間上，集合S₁都不等於集合S₂) = (1 – r³)⁴。P(4個區間上，至少有一個區間，集合S₁等於集合S₂) = 1 - (1 – r³)⁴。這裏的機率是一個r的函數，形狀猶如一個S型，以下：

 

 

圖1

若是令區間個數爲B，每一個區間內的行數爲C，那麼上面的公式能夠形式的表示爲：

P(B個區間中至少有一個區間中兩個結合相等) = 1 - (1 – r^C)^B

領r = 0.4，C=3，B = 100。上述公式計算的機率爲0.9986585。這代表兩個Jaccard類似度爲0.4的集合在至少一個區間內衝撞的機率達到了99.9%。根據這一事實，咱們只須要選取合適的B和C，和一個衝撞率很低的hash函數，就能夠將類似的集合至少在一個區間內衝撞，這樣也就達成了本節最開始的目的：將類似的集合放到一塊兒。具體的方法是爲B個區間，準備B個hash表，和區間編號一一對應，而後用hash函數將每一個區間的部分集合映射到對應hash表裏。最後遍歷全部的hash表，將衝撞的集合做爲候選對象進行比較，找出相識的集合對。整個過程是採用O(n)的時間複雜度，由於B和C均是常量。因爲聚到一塊兒的集合相比於總體比較少，因此在這小範圍內互相比較的時間開銷也能夠計算爲常量，那麼整體的計算時間也是O(n)。

 

總結

以上只是描述了Minhash和LSH尋找類似集合的算法框架，做爲學習筆記和備忘錄。還有一些算法細節沒有討論。但願後面有機會，能夠在海量數據的狀況下使用這個算法。

 

 

參考資料

[1]       書籍《Mining of Massive Datasets》的第三章Find Similar Item，由Anand Rajaraman，Jure Leskovec和Jeffrey David Ullman著

[2]       Jaccard類似度、minHash、Locality-Sensitive Hashing(LSH)

[3]       Wiki上的Jaccard距離

[4]       Wiki上的Minhash

[5]       Wiki上的LSH