文本數據類似度的度量

編輯距離
編輯距離，又稱爲Levenshtein距離，是用於計算一個字符串轉換爲另外一個字符串時，插入、刪除和替換的次數。例如，將'dad'轉換爲'bad'須要一次替換操做，編輯距離爲1。

nltk.metrics.distance.edit_distance函數實現了編輯距離。

from nltk.metrics.distance import edit_distance

str1 = 'bad'
str2 = 'dad'
print(edit_distance(str1, str2))

N元語法類似度
n元語法只是簡單地表示文本中n個標記的全部可能的連續序列。n元語法具體是這樣的

import nltk

#這裏展現2元語法
text1 = 'Chief Executive Officer'

#bigram考慮匹配開頭和結束，全部使用pad_right和pad_left
ceo_bigrams = nltk.bigrams(text1.split(),pad_right=True,pad_left=True)

print(list(ceo_bigrams))
[(None, 'Chief'), ('Chief', 'Executive'), 
('Executive', 'Officer'), ('Officer', None)]

2元語法類似度計算

import nltk

#這裏展現2元語法
def bigram_distance(text1, text2):
    #bigram考慮匹配開頭和結束，因此使用pad_right和pad_left
    text1_bigrams = nltk.bigrams(text1.split(),pad_right=True,pad_left=True)

    text2_bigrams = nltk.bigrams(text2.split(), pad_right=True, pad_left=True)

    #交集的長度
    distance = len(set(text1_bigrams).intersection(set(text2_bigrams)))

    return distance

text1 = 'Chief Executive Officer is manager'

text2 = 'Chief Technology Officer is technology manager'

print(bigram_distance(text1, text2)) #類似度爲3

jaccard類似性
jaccard距離度量的兩個集合的類似度，它是由 （集合1交集合2）/（結合1交結合2）計算而來的。

實現方式

from nltk.metrics.distance import jaccard_distance

#這裏咱們以單個的字符表明文本
set1 = set(['a','b','c','d','a'])
set2 = set(['a','b','e','g','a'])

print(jaccard_distance(set1, set2))
0.6666666666666666

masi距離
masi距離度量是jaccard類似度的加權版本，當集合之間存在部分重疊時，經過調整得分來生成小於jaccard距離值。

from nltk.metrics.distance import jaccard_distance,masi_distance

#這裏咱們以單個的字符表明文本
set1 = set(['a','b','c','d','a'])
set2 = set(['a','b','e','g','a'])

print(jaccard_distance(set1, set2))
print(masi_distance(set1, set2))
0.6666666666666666
0.22000000000000003

餘弦類似度
nltk提供了餘弦類似性的實現方法，好比有一個詞語空間

word_space = [w1,w2,w3,w4]

text1 = 'w1 w2 w1 w4 w1'
text2 = 'w1 w3 w2'

#按照word_space位置，計算每一個位置詞語出現的次數

text1_vector = [3,1,0,1]
text2_vector = [1,1,1,0]

[3,1,0,1]意思是指w1出現了3次，w2出現了1次，w3出現0次，w4出現1次。

好了下面看代碼，計算text1與text2的餘弦類似性

from nltk.cluster.util import cosine_distance

text1_vector = [3,1,0,1]
text2_vector = [1,1,1,0]

print(cosine_distance(text1_vector,text2_vector))
0.303689376177