spark中TF-IDF的理解及其使用

一. 什麼是TF-IDF TF-IDF(Term Frequency-Inverse Document Frequency, 詞頻-逆文件頻率). 是一種用於資訊檢索與資訊探勘的常用加權技術。TF-IDF是一種統計方法，用以評估一字詞對於一個文件集或一個語料庫中的其中一份文件的重要程度。字詞的重要性隨着它在文件中出現的次數成正比增加，但同時會隨着它在語料庫中出現的頻率成反比下降。 上述引用總結就是

>>阅读原文<<