這個標題看上去好像很複雜,其實我要談的是一個很簡單的問題。算法
有一篇很長的文章,我要用計算機提取它的關鍵詞(Automatic Keyphrase extraction),徹底不加以人工干預,請問怎樣才能正確作到?htm
這個問題涉及到數據挖掘、文本處理、信息檢索等不少計算機前沿領域,可是出乎意料的是,有一個很是簡單的經典算法,能夠給出使人至關滿意的結果。它簡單到都不須要高等數學,普通人只用10分鐘就能夠理解,這就是我今天想要介紹的TF-IDF算法。排序
讓咱們從一個實例開始講起。假定如今有一篇長文《中國的蜜蜂養殖》,咱們準備用計算機提取它的關鍵詞。ip
一個容易想到的思路,就是找到出現次數最多的詞。若是某個詞很重要,它應該在這篇文章中屢次出現。因而,咱們進行"詞頻"(Term Frequency,縮寫爲TF)統計。文檔
結果你確定猜到了,出現次數最多的詞是----"的"、"是"、"在"----這一類最經常使用的詞。它們叫作"停用詞"(stop words),表示對找到結果毫無幫助、必須過濾掉的詞。get
假設咱們把它們都過濾掉了,只考慮剩下的有實際意義的詞。這樣又會遇到了另外一個問題,咱們可能發現"中國"、"蜜蜂"、"養殖"這三個詞的出現次數同樣多。這是否是意味着,做爲關鍵詞,它們的重要性是同樣的?數學
顯然不是這樣。由於"中國"是很常見的詞,相對而言,"蜜蜂"和"養殖"不那麼常見。若是這三個詞在一篇文章的出現次數同樣多,有理由認爲,"蜜蜂"和"養殖"的重要程度要大於"中國",也就是說,在關鍵詞排序上面,"蜜蜂"和"養殖"應該排在"中國"的前面。數據挖掘
因此,咱們須要一個重要性調整係數,衡量一個詞是否是常見詞。若是某個詞比較少見,可是它在這篇文章中屢次出現,那麼它極可能就反映了這篇文章的特性,正是咱們所須要的關鍵詞。io
用統計學語言表達,就是在詞頻的基礎上,要對每一個詞分配一個"重要性"權重。最多見的詞("的"、"是"、"在")給予最小的權重,較常見的詞("中國")給予較小的權重,較少見的詞("蜜蜂"、"養殖")給予較大的權重。這個權重叫作"逆文檔頻率"(Inverse Document Frequency,縮寫爲IDF),它的大小與一個詞的常見程度成反比。基礎
知道了"詞頻"(TF)和"逆文檔頻率"(IDF)之後,將這兩個值相乘,就獲得了一個詞的TF-IDF值。某個詞對文章的重要性越高,它的TF-IDF值就越大。因此,排在最前面的幾個詞,就是這篇文章的關鍵詞。
下面就是這個算法的細節。
第一步,計算詞頻。
考慮到文章有長短之分,爲了便於不一樣文章的比較,進行"詞頻"標準化。
或者
第二步,計算逆文檔頻率。
這時,須要一個語料庫(corpus),用來模擬語言的使用環境。
若是一個詞越常見,那麼分母就越大,逆文檔頻率就越小越接近0。分母之因此要加1,是爲了不分母爲0(即全部文檔都不包含該詞)。log表示對獲得的值取對數。
第三步,計算TF-IDF。
能夠看到,TF-IDF與一個詞在文檔中的出現次數成正比,與該詞在整個語言中的出現次數成反比。因此,自動提取關鍵詞的算法就很清楚了,就是計算出文檔的每一個詞的TF-IDF值,而後按降序排列,取排在最前面的幾個詞。
仍是以《中國的蜜蜂養殖》爲例,假定該文長度爲1000個詞,"中國"、"蜜蜂"、"養殖"各出現20次,則這三個詞的"詞頻"(TF)都爲0.02。而後,搜索Google發現,包含"的"字的網頁共有250億張,假定這就是中文網頁總數。包含"中國"的網頁共有62.3億張,包含"蜜蜂"的網頁爲0.484億張,包含"養殖"的網頁爲0.973億張。則它們的逆文檔頻率(IDF)和TF-IDF以下:
從上表可見,"蜜蜂"的TF-IDF值最高,"養殖"其次,"中國"最低。(若是還計算"的"字的TF-IDF,那將是一個極其接近0的值。)因此,若是隻選擇一個詞,"蜜蜂"就是這篇文章的關鍵詞。
除了自動提取關鍵詞,TF-IDF算法還能夠用於許多別的地方。好比,信息檢索時,對於每一個文檔,均可以分別計算一組搜索詞("中國"、"蜜蜂"、"養殖")的TF-IDF,將它們相加,就能夠獲得整個文檔的TF-IDF。這個值最高的文檔就是與搜索詞最相關的文檔。
TF-IDF算法的優勢是簡單快速,結果比較符合實際狀況。缺點是,單純以"詞頻"衡量一個詞的重要性,不夠全面,有時重要的詞可能出現次數並很少。並且,這種算法沒法體現詞的位置信息,出現位置靠前的詞與出現位置靠後的詞,都被視爲重要性相同,這是不正確的。(一種解決方法是,對全文的第一段和每一段的第一句話,給予較大的權重。)