TF-IDF（term frequency–inverse document frequency）

TF-IDF（term frequency–inverse document frequency）是一種用於信息檢索與數據挖掘的經常使用加權技術。

1.什麼是TF-IDF

TF-IDF是一種 統計方法，用以評估一字詞對於一個文件集或一個語料庫中的其中一份文件的重要程度。字詞的重要性隨着它在文件中出現的次數成正比增長，但同時會隨着它在 語料庫中出現的頻率成反比降低。TF-IDF加權的各類形式常被 搜索引擎應用，做爲文件與用戶查詢之間相關程度的度量或評級。除了TF-IDF之外，因特網上的搜索引擎還會使用基於連接分析的評級方法，以肯定文件在搜尋結果中出現的順序。

 

TFIDF的主要思想是：若是某個詞或短語在一篇文章中出現的頻率TF高，而且在其餘文章中不多出現，則認爲此詞或者短語具備很好的類別區分能力，適合用來分類。TFIDF其實是：TF * IDF，TF詞頻(Term Frequency)，IDF反文檔頻率(Inverse Document Frequency)。TF表示詞條在文檔d中出現的頻率。

 

2.TF-IDF原理

TFIDF的主要思想是：若是某個詞或短語在一篇文章中出現的頻率TF高，而且在其餘文章中不多出現，則認爲此詞或者短語具備很好的類別區分能力，適合用來分類。TFIDF其實是：TF * IDF，TF詞頻(Term Frequency)，IDF逆向文件頻率(Inverse Document Frequency)。TF表示詞條在文檔d中出現的頻率。

IDF的主要思想是：若是包含詞條t的文檔越少，也就是n越小，IDF越大，則說明詞條t具備很好的類別區分能力。若是某一類文檔C中包含詞條t的文檔數爲m，而其它類包含t的文檔總數爲k，顯然全部包含t的文檔數n=m+k，當m大的時候，n也大，按照IDF公式獲得的IDF的值會小，就說明該詞條t類別區分能力不強。可是實際上，若是一個詞條在一個類的文檔中頻繁出現，則說明該詞條可以很好表明這個類的文本的特徵，這樣的詞條應該給它們賦予較高的權重，並選來做爲該類文本的特徵詞以區別與其它類文檔。這就是IDF的不足之處. 在一份給定的文件裏，詞頻（term frequency，TF）指的是某一個給定的詞語在該文件中出現的頻率。這個數字是對詞數(term count)的歸一化，以防止它偏向長的文件。（同一個詞語在長文件裏可能會比短文件有更高的詞數，而無論該詞語重要與否。）

---

 

對於在某一特定文件裏的詞語來講，它的重要性（詞頻term frequency，TF）可表示爲：

 

 

• 分子是該詞在文件中的出現次數，
• 分母是在文件中全部字詞的出現次數之和。

---

 

某一特定詞語的IDF，能夠由總文件數目除以包含該詞語之文件的數目，再將獲得的商取 對數獲得：   

 

• |D|：語料庫中的文件總數
• 包含詞語的文件數目（即的文件數目）

---

而後再計算TF與IDF的乘積。

某一特定文件內的高詞語頻率，以及該詞語在整個文件集合中的低文件頻率，能夠產生出高權重的TF-IDF。所以，TF-IDF傾向於過濾掉常見的詞語，保留重要的詞語。

---

 

3.For example:

假如一篇文件的總詞語數是100個，而詞語「母牛」出現了3次，那麼「母牛」一詞在該文件中的詞頻就是 0.03 (3/100)。一個計算文件頻率 (DF) 的方法是測定有多少份文件出現過「母牛」一詞，而後除以文件集裏包含的文件總數。因此，若是「母牛」一詞在1,000份文件出現過，而文件總數是 10,000,000份的話，其文件頻率就是 0.0001 (1000/10,000,000)。最後，TF-IDF分數就能夠由計算詞頻除以文件頻率而獲得。以上面的例子來講，「母牛」一詞在該文件集的TF- IDF分數會是 300 (0.03/0.0001)。這條公式的另外一個形式是將文件頻率取對數。