搜索引擎自動提取文章關鍵詞原理

    

        最近我在給公司的編輯和優化人員培訓時，在講到文章關鍵詞的密度和佈局設置的時候，有個SEOer提問：「搜索引擎是如何判斷並提取文章關鍵詞？」，關於這個問題，雖然我並不肯定百度是用什麼技術提取關鍵詞的，可是馬海祥卻知道一種利用TF-IDF與餘弦類似性來自動提取關鍵詞的技術，簡單的來講就是針對一篇很長的文章，要想只用計算機提取它的關鍵詞（Automatic Keyphrase extraction），在徹底不加以人工干預的狀況下，利用什麼樣的技術原理才能正確作到呢？

        

1、什麼是TF-IDF？

TF-IDF（term frequency–inverse document frequency）是一種用於資訊檢索與資訊探勘的經常使用加權技術。TF-IDF是一種統計方法，用以評估一字詞對於一個文件集或一個語料庫中的其中一份文件的重要程度。字詞的重要性隨着它在文件中出現的次數成正比增長，但同時會隨着它在語料庫中出現的頻率成反比降低。TF-IDF加權的各類形式常被搜索引擎應用，做爲文件與用戶查詢之間相關程度的度量或評級。除了TF-IDF之外，因特網上的搜索引擎還會使用基於連接分析的評級方法，以肯定文件在搜尋結果中出現的順序。

TF-IDF的原理

在一份給定的文件裏，詞頻 (term frequency, TF) 指的是某一個給定的詞語在該文件中出現的次數。這個數字一般會被歸一化，以防止它偏向長的文件。（同一個詞語在長文件裏可能會比短文件有更高的詞頻，而無論該詞語重要與否。）

逆向文件頻率 (inverse document frequency, IDF) 是一個詞語廣泛重要性的度量。某一特定詞語的IDF，能夠由總文件數目除以包含該詞語之文件的數目，再將獲得的商取對數獲得。

某一特定文件內的高詞語頻率，以及該詞語在整個文件集合中的低文件頻率，能夠產生出高權重的TF-IDF。所以，TF-IDF傾向於保留文檔中較爲特別的詞語，過濾經常使用詞。

2、搜索引擎自動提取文章關鍵詞的原理

關於這個問題涉及到數據挖掘、文本處理、信息檢索等不少計算機前沿領域，可是出乎意料的是，有一個很是簡單的經典算法，能夠給出使人至關滿意的結果。它簡單到都不須要高等數學，普通人只用10分鐘就能夠理解，這就是我今天要在馬海祥博客上想要介紹的TF-IDF算法。

首先馬海祥以一個實例開始給你們講起。假定如今有一篇長文《中國的蜜蜂養殖》，咱們準備用計算機提取它的關鍵詞。

一個容易想到的思路，就是找到出現次數最多的詞。若是某個詞很重要，它應該在這篇文章中屢次出現。因而，咱們進行"詞頻"（Term Frequency，縮寫爲TF）統計。

結果你確定猜到了，出現次數最多的詞是----"的"、"是"、"在"----這一類最經常使用的詞。它們叫作「停用詞」（stop words），表示對找到結果毫無幫助、必須過濾掉的詞。

假設咱們把它們都過濾掉了，只考慮剩下的有實際意義的詞。這樣咱們可能又會遇到了另外一個問題，咱們可能發現"中國"、"蜜蜂"、"養殖"這三個詞的出現次數同樣多。

這是否是意味着，做爲關鍵詞，它們的重要性是同樣的？

顯然不是這樣。由於"中國"是很常見的詞，相對而言，"蜜蜂"和"養殖"不那麼常見。若是這三個詞在一篇文章的出現次數同樣多，有理由認爲，"蜜蜂"和"養殖"的重要程度要大於"中國"，也就是說，在關鍵詞排序上面，"蜜蜂"和"養殖"應該排在"中國"的前面。

因此，咱們須要一個重要性調整係數，衡量一個詞是否是常見詞。若是某個詞比較少見，可是它在這篇文章中屢次出現，那麼馬海祥以爲它極可能就反映了這篇文章的特性，也正是咱們所須要的關鍵詞。

用統計學語言表達，就是在詞頻的基礎上，要對每一個詞分配一個"重要性"權重。最多見的詞（"的"、"是"、"在"）給予最小的權重，較常見的詞（"中國"）給予較小的權重，較少見的詞（"蜜蜂"、"養殖"）給予較大的權重。這個權重叫作"逆文檔頻率"（Inverse Document Frequency，縮寫爲IDF），它的大小與一個詞的常見程度成反比。

知道了"詞頻"（TF）和"逆文檔頻率"（IDF）之後，將這兩個值相乘，就獲得了一個詞的TF-IDF值。某個詞對文章的重要性越高，它的TF-IDF值就越大。因此，排在最前面的幾個詞，就是這篇文章的關鍵詞。

下面馬海祥再詳細的給你們介紹一下這個算法的細節：

第1步：計算詞頻

考慮到文章有長短之分，爲了便於不一樣文章的比較，進行"詞頻"標準化。

或者

    

第2步：計算逆文檔頻率

這時，須要一個語料庫（corpus），用來模擬語言的使用環境。

若是一個詞越常見，那麼分母就越大，逆文檔頻率就越小越接近0。分母之因此要加1，是爲了不分母爲0（即全部文檔都不包含該詞）。log表示對獲得的值取對數。

    

從上面的公式咱們能夠看到，TF-IDF與一個詞在文檔中的出現次數成正比，與該詞在整個語言中的出現次數成反比。因此，自動提取關鍵詞的算法就很清楚了，就是計算出文檔的每一個詞的TF-IDF值，而後按降序排列，取排在最前面的幾個詞。

在此馬海祥仍是以《中國的蜜蜂養殖》爲例，假定該文長度爲1000個詞，"中國"、"蜜蜂"、"養殖"各出現20次，則這三個詞的"詞頻"（TF）都爲0.02。而後，經過搜索引擎搜索這個詞發現，包含"的"字的網頁共有250億張，假定這就是中文網頁總數。包含"中國"的網頁共有62.3億張，包含"蜜蜂"的網頁爲0.484億張，包含"養殖"的網頁爲0.973億張。則它們的逆文檔頻率（IDF）和TF-IDF以下：

從上表可見，"蜜蜂"的TF-IDF值最高，"養殖"其次，"中國"最低。（若是還計算"的"字的TF-IDF，那將是一個極其接近0的值。）因此，若是隻選擇一個詞，"蜜蜂"就是這篇文章的關鍵詞。

馬海祥博客點評：

除了自動提取關鍵詞，TF-IDF算法還能夠用於許多別的地方。好比，信息檢索時，對於每一個文檔，均可以分別計算一組搜索詞（"中國"、"蜜蜂"、"養殖"）的TF-IDF，將它們相加，就能夠獲得整個文檔的TF-IDF。這個值最高的文檔就是與搜索詞最相關的文檔。

TF-IDF算法的優勢是簡單快速，結果比較符合實際狀況。缺點是，單純以"詞頻"衡量一個詞的重要性，不夠全面，有時重要的詞可能出現次數並很少。並且，這種算法沒法體現詞的位置信息，出現位置靠前的詞與出現位置靠後的詞，都被視爲重要性相同，這是不正確的。不過有一種解決方法是，對全文的第一段和每一段的第一句話，給予較大的權重。

本文爲馬海祥博客原創文章，原文網址摘自於http://www.mahaixiang.cn/seoyjy/292.html，