大規模文檔相似度計算—基於MapReduce框架

現有Doc-word矩陣，採用餘弦計算兩兩文檔之間的相似度。在實際問題中，矩陣通常是很稀疏的，爲了減少計算量，通常採用倒排索引的 數據結構 [1], 將包含相同word的doc映射到同一個節點上， 這樣只需計算相似度不爲0的文檔之間的相似度， 從而減少計算量，具體過程如圖1所示。         圖1. 建立倒排索引計算文檔相似度(來源於參考文獻[1])         上述方法雖然避免了計算相似

>>阅读原文<<