基於MapReduce的TFIDF的編碼

一.概念 首先大家需要知道什麼是TFIDF TF-IDF(Term Frequency-Inverse Document Frequency, 詞頻-逆文件頻率). 是一種用於資訊檢索與資訊探勘的常用加權技術。TF-IDF是一種統計方法，用以評估一字詞對於一個文件集或一個語料庫中的其中一份文件的重要程度。字詞的重要性隨着它在文件中出現的次數成正比增加，但同時會隨着它在語料庫中出現的頻率成反比下降。

>>阅读原文<<