[網站建設] 深度解析搜索引擎的原理結構

搜索引擎(searchengine)也能夠說是指根據必定的策略、運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理後，爲用戶提供檢索服務，將用戶檢索相關的信息展現給用戶的系統。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費連接列表等。在此，藉助馬海祥博客的平臺，我也來淺談一下我對搜索引擎原理結構的一些認識

搜索引擎的原理結構框架大概分爲三部分，即：數據蒐集—>預處理【索引】—>排名。以下圖所示：

1、數據蒐集

數據蒐集直白的講，即數據的蒐集階段，將網頁從浩如瀚海的互聯網世界蒐集到本身的數據庫中進行存儲。搜索引擎派出一個可以在網上發現新網頁並抓文件的程序，這個程序一般稱之爲蜘蛛(Spider)。搜索引擎從已知的數據庫出發，就像正經常使用戶的瀏覽器同樣訪問這些網頁並抓取文件。搜索引擎經過這些爬蟲去爬互聯網上的外鏈，從這個網站爬到另外一個網站，去跟蹤網頁中的連接，訪問更多的網頁，這個過程就叫爬行。這些新的網址會被存入數據庫等待抓取。因此跟蹤網頁連接是搜索引擎蜘蛛(Spider)發現新網址的最基本的方法。搜索引擎抓取的頁面文件與用戶瀏覽器獲得的徹底同樣，抓取的文件存入數據庫。

一、連接跟蹤

蜘蛛是順着連接爬行和抓取頁面的。如何快速抓取到對用戶來講相對重要的信息以及達到廣闊的覆蓋無疑是搜索引擎須要重點考慮的問題。因爲互聯網上無數的網站頁面，搜索引擎蜘蛛沒法將全部的頁面都下載保存到服務器。所以，許多搜索引擎的網絡蜘蛛不是全部的頁面都抓取的，只是抓取那些重要的網頁，而在抓取的時候評價重要性主要的依據是某個網頁的連接普遍度及外部連接的數量與質量。因此馬海祥覺的在給網站加外鏈時不要只給首頁外鏈，其餘頁面也要加(這和外鏈的隨機性也有關)。

二、在抓取網頁的時候，搜索引擎蜘蛛通常有兩種策略：廣度優先和深度優先。

廣度優先是指搜索引擎蜘蛛會先抓取起始網頁中連接的全部網頁，而後再選擇其中的一個連接網頁，繼續抓取在此網頁中連接的全部網頁。這是最經常使用的方式，由於這個方法可讓搜索引擎蜘蛛並行處理，提升其抓取速度。

深度優先是指搜索引擎蜘蛛會從起始頁開始，一個連接一個連接跟蹤下去，處理完這條線路以後再轉入下一個起始頁，繼續跟蹤連接。這個方法有個優勢是搜索引擎蜘蛛在設計的時候比較容易。

廣度抓取有助於獲取到更多的信息，深度抓取有助於獲得更全面的信息。搜索引擎蜘蛛在抓取數據時，一般會兩種方式都採用，可是想比較來講，廣度抓取要多於深度抓取。

這是搜索引擎抓取數據的二大策略，固然其中還夾雜着一些加入了人工智能的策略，好比：

a、熱點優先策略：對於爆發式的熱點關鍵詞進行優先抓取，並且不須要通過嚴格的去重和過濾，由於會有新的連接來覆蓋以及用戶的主動選擇。
　　b、權威優先策略：搜索引擎會給每一個網站分配一個權威度，經過網站歷史、網站更新等來肯定網站的權威度，優先抓取權威度高的網站連接。
　　c、用戶點擊策略：當大部分搜索一個行業詞庫內的關鍵詞時，頻繁的點擊同一個網站的搜索結果，那麼搜索引擎會更頻繁的抓取這個網站。
　　d、歷史參考策略：對於保持頻繁更新的網站，搜索引擎會對網站創建更新歷史，根據更新歷史來預估將來的更新量以及肯定抓取頻率。

三、地址庫

爲了不重複爬行和抓取網址，搜索引擎會創建一個地址庫，記錄已經被發現尚未抓取的頁面，以及已經被抓取的頁面。地址庫中的URL有如下幾個來源：

a、人工錄入的種子網站。
　　b、蜘蛛抓取頁面後，從HTML中解析出新的連接URL，與地址庫中的數據對比，若是是地址庫中沒有的網址，就存入待訪問地址庫。
　　c、站長經過搜索引擎網頁提交表格提交進來的網址。

蜘蛛按重要性從待訪問地址庫中提取URL，訪問並抓取頁面，而後把這個URL從待訪問地址庫中刪除，放進已訪問地址庫中。大部分主流搜索引擎都提供一個表格，讓站長提交網址。不過這些提交來的網址都只是存入地址庫而已，是否收錄還要看頁面重要性如何。搜索引擎所收錄的絕大部分頁面是蜘蛛本身跟蹤連接獲得的。能夠說提交頁面基本上是毫無用處的，搜索引擎更喜歡本身沿着連接發現新頁面。

四、文件存儲

連接跟蹤完畢，須要將跟蹤到的信息進行存儲。存儲的對象，第一是url，第二是頁面內容(文件大小、最後一次更新時間、http狀態碼、頁面源代碼等等)。

2、預處理【索引】

數據抓取完畢，就須要進行預處理了，通常也叫索引。主要會從提取文字、中文分詞、去中止詞、消噪、去重、正向索引、倒排索引、連接分析、特殊文件處理等幾個方面來進行。

一、提取文字

這個應該很好理解的，將源代碼中的文字提取出來。固然須要注意的是，這裏面會包括meta信息以及一些替代文字，除了用戶可見的文字信息外，還有代碼中的文字信息(例如alt標籤)。目前搜索引擎都是以文字爲基礎。蜘蛛抓取的HTML代碼中除了用戶在瀏覽器看到的文字外還有大量HTML格式標籤、DIV+CSS標籤、JavaScript程序等沒法用於排名的內容。因此搜索引擎第一步就是要去除從HTML代碼中抓取的標籤、程序等，提取能夠用於排名處理的頁面文字內容。除了可見文字，搜索引擎也會提取一些特殊的包含文字信息的代碼，如Meta標籤中的文字、alt標籤、FLASH文件代替的文字、連接的錨文本等等。

二、分詞

中文分詞 (Chinese Word Segmentation)指的是將一個漢字序列切分紅一個一個單獨的詞。分詞就是將連續的字序列按照必定的規範從新組合成詞序列的過程。咱們知道，在英文的行文中，單詞之間是以空格做爲天然分界符的，而中文只是字、句和段能經過明顯的分界符來簡單劃界，惟獨詞沒有一個形式上的分界符，雖然英文也一樣存在短語的劃分問題，不過在詞這一層上，中文比之英文要複雜的多、困難的多。分詞方法主要包括：基於理解的分詞方法、基於字符串匹配的分詞方法、基於統計的分詞方法。這裏就很少說了，分詞能夠說是搜索引擎最重要的部分。中文分詞的框架以下圖所示：

三、去中止詞

不管英文仍是中文，頁面內容中都會有一些出現頻率很高，卻對內容沒有任何影響的詞，如「的」、「地」、「得」之類的助詞，「啊」、「哈」、「呀」之類的感嘆詞，「從而」、「以」、「卻」之類的介詞，這些詞被稱爲中止詞，由於它們對頁面主要意思沒有什麼影響。英文中常見的中止詞如the，a，an，to，of等。搜索引擎在索引頁面以前會去掉這些中止詞，使索引數據主題更爲突出，減小無謂的計算量。

四、消噪

對搜索引擎來講，並非網頁上的全部部分它都須要抓取，有一些部分對排名計算是沒有意義的，好比導航條、版權文字說明、廣告等等區塊。考慮到搜索引擎須要處理的網頁數量很是龐大，這部分無心義內容的絕對量也是很是大的，爲了節省計算資源，提高排名計算的速度，搜索引擎在預處理時會將這些內容識別後剔除出去。這個過程就稱爲消噪。

如今搜索引擎應用的消噪技術可分爲三類：基於網頁結構的方法，基於模版的方法和基於可視化信息的方法。

A、基於可視化信息的方法：是指利用頁面中元素的佈局信息，從而可以利用佈局信息對頁面進行劃分，保留頁面中間區域，而其它區域則認爲是噪音。
　　B、基於網頁結構的方法：即根據html標籤對頁面來分區，分出一些頁頭、導航、正文、廣告等等的區塊，只抓取正文等重要的部分。
　　C、基本模版的方法：指的是從一組網頁中提取出相同的模板，然後利用這些模版從網頁中抽取有用的信息。

五、SEOer如何人工減噪？

A、搜索引擎會基於可視化信息識別噪音，所以馬海祥建議SEO人員在建設網頁時應儘可能遵循通用的原則，將正文內容安排在頁面中間區域，而不要弄一些很是個性化的頁面，增長搜索引擎識別噪音的難度。
　　B、搜索引擎會基於網頁結構識別噪音，所以馬海祥建議SEO人員在處理網頁結構時建議引入JS代碼，將頁頭、廣告、版權聲明等內容經過JS調用來實現。固然是一些你不想被抓取的版塊，由於這些區塊在站內極可能都是重複出現的，特別是廣告、版權、評論這些。一旦被收錄，很容易形成重複內容堆積，影響整站的內容質量評分。
　　C、搜索引擎會基於網頁模版識別噪音，所以SEO人員在建設網頁時應儘可能採用同一套模版，尤爲是在改版的時候不要輕易動模版，以幫助搜索引擎識別噪音區塊。

六、去重

通過去停頓，去噪以後剩下的詞組，已經能夠很好的表達出頁面的主體意思了。爲了便於使得內容不被搜索引擎重複收錄，搜索引擎須要一個算法來進行去重處理。好比比較知名且經常使用的爲MD5算法，搜索引擎根據特徵關鍵詞計算指紋區分。

七、正向索引

正向索引簡稱爲索引。通過前五步以後，接下來搜索引擎將提取文中關鍵詞，按分詞程序劃分好的詞，同時記錄每一個詞在頁面中出現的頻率、出現的次數、格式(如加粗、傾斜、黑體、H標籤、加顏色、錨文字等)、位置(如頁面第一段文字或者最後一段等)。而後把這些詞語記錄爲串關鍵詞集合，那麼這些詞的相關信息如格式、權重等也會記錄在案。實際在搜索引擎中每一個關鍵詞也被轉換爲ID形式記錄，而後每一個文件ID對應一串關鍵詞ID。這種每一個文件ID對應一個串關鍵詞ID這樣的數據結構被稱之爲正向索引。好比文章A對應一、二、3這三個關鍵詞，文章B對應二、四、5這三個關鍵詞。

八、倒排索引

正向索引還不能直接運用到關鍵詞排名，假設用戶搜索關鍵詞2，那麼搜索引擎講掃描索引庫中全部文件，這樣時間太長沒法知足用戶返回結果的速度，因此這裏運用到了倒排索引，把關鍵詞ID映射到文章ID，好比關鍵詞2對應文章A、文章B，如此一來大大縮短搜索引擎掃描索引庫中的文件，縮短掃描時間。

九、連接算法

在此階段，各個頁面之間的連接關係也會被蒐集。頁面中有哪些導入連接，這些連接都指向哪裏，哪些連接又指向這個頁面，連接用的是URL仍是錨文字，這些複雜的連接關係網就造成了頁面的連接權重，此時錨文本將被做爲重要排名依據，當量普遍的錨文本將被列入計算關鍵詞排名的步驟中。

十、特殊文件的處理

除了HTML 文件外，搜索引擎一般還能抓取和索引以文字爲基礎的多種文件類型，如PDF、Word、WPS、XLS、PPT、TXT 文件等，咱們在搜索結果中也常常會看到這些文件類型。但搜索引擎目前還不能很好的處理圖片、視頻、Flash 這類非文字內容，也不能執行腳本和程序。

3、排名

索引文件創建完畢以後，接下來要作的就是排名了。

一、搜索詞的處理

這一步和前面的預處理同樣也要中文分詞、去中止詞。還要進行指令處理，拼寫錯誤矯正，整合搜索觸發等。這個上面基本是同樣的。

二、文件匹配

從上面咱們看到搜索引擎的蜘蛛是無時無刻的都在爬行和抓取，另外不斷對抓取的數據進行整理概括以及存儲。這些過程並非用戶在搜索的時候進行的，而是在搜索以前就預處理好的，真正當用戶搜索某個關鍵詞時，搜索引擎只須要在本身的數據庫中進行查找，而不是實時的對互聯網上全部的網站進行查找。搜索引擎就會在和該關鍵詞對應的全部文件中進行簡單的計算和匹配，找到匹配頁面。

三、初始子集選擇

爲了更加快速的知足用戶的須要，搜索引擎須要從全部的相關頁面中進行選擇，只計算權重稍高的頁面返回給用戶，這個過程就是常說的初始子集的篩選。你們能夠試想，當咱們搜索某個關鍵詞時，每每包含這個關鍵詞的頁面數量是巨大的，甚至幾十萬、上百萬。若是搜索引擎從這麼大的數據中進行匹配的話時間顯然更長，爲了更好的知足用戶的需求，實際中搜索引擎只會選擇哪些權重高的頁面去匹配(大概1000個左右)。

四、相關性計算

(1)、關鍵詞經常使用程度

通過分詞後的多個關鍵詞，對整個搜索字符串的意義貢獻並不相同。越經常使用的詞對搜索詞的意義貢獻越小，越不經常使用的詞對搜索詞的意義貢獻越大。舉個例子，假設用戶輸入的搜索詞是「馬海祥博客」。「博客」這個詞經常使用程度很是高，在不少頁面上會出現。它對「馬海祥博客」這個搜索詞的辨識程度和意義相關度貢獻就很小。找出那些包含「博客」這個詞的頁面，對搜索排名相關性幾乎沒有什麼影響，有太多頁面包含「博客」這個詞。而「馬海祥」這個詞經常使用程度就比較低，對「馬海祥博客」這個搜索詞的意義貢獻要大得多。那些包含「馬海祥」這個詞的頁面，對「馬海祥博客」這個搜索詞會更爲相關。經常使用詞的極致就是中止詞，對頁面意義徹底沒有影響。
　　因此搜索引擎對搜索詞串中的關鍵詞並非一視同仁地處理，而是根據經常使用程度進行加權。不經常使用的詞加權係數高，經常使用詞加權係數低，排名算法對不經常使用的詞給予更多關注。咱們假設A、B兩個頁面都各出現「博客」及「馬海祥」兩個詞。可是「博客」這個詞在A頁面出現於普通文字中，「馬海祥」這個詞在A頁面出現於標題標籤中。B頁面正相反，「博客」出如今標題標籤中，而「馬海祥」出如今普通文字中。那麼針對「馬海祥博客」這個搜索詞，A頁面將更相關。

(2)、詞頻及密度

通常認爲在沒有關鍵詞堆積的狀況下，搜索詞在頁面中出現的次數多，密度越高，說明頁面與搜索詞越相關。固然這只是一個大體規律，實際狀況未必如此，因此相關性計算還有其餘因素。出現頻率及密度只是因素的一部分，並且重要程度愈來愈低。

(3)、關鍵詞位置及形式

就像在索引部分中提到的，頁面關鍵詞出現的格式和位置都被記錄在索引庫中。關鍵詞出如今比較重要的位置，如標題標籤、黑體、H1等，說明頁面與關鍵詞越相關。這一部分就是頁面seo所要解決的。

(4)、關鍵詞距離

切分後的關鍵詞完整匹配地出現，說明與搜索詞最相關。好比搜索「呼叫中心」時，頁面上連續完整出現「呼叫中心」四個字是最相關的。若是「呼叫」和「中心」兩個詞沒有連續匹配出現，出現的距離近一些，也被搜索引擎認爲相關性稍微大一些。

(5)、連接分析及頁面權重

除了頁面自己的因素，頁面之間的連接和權重關係也影響關鍵詞的相關性。其中最重要的是錨文字。頁面有越多以拽索詞爲錨文字的導入連接，說明頁面的相關性越強。連接分析還包括了連接源頁面自己的主題、錨文字周圍的文字等。

五、排名過濾及調整，過濾一些做弊等

經過各類算法（例如近期百度的綠蘿算法和石榴算法）的調整，過濾一些做弊的網站，經過算法規則或人工調整給予違規網站的降權，提取展現優質網站的信息。

六、搜索緩存

搜索引擎的搜索緩存也即cache，是計算機領域很是經常使用的一種技術，咱們最熟悉的，恐怕就是瀏覽器的緩存。搜索引擎的緩存能夠這樣簡單描述：在高速內存硬件設備開闢一塊數據存儲區，用來存儲搜索用戶的查詢、索引數據、搜索的中間結果或者最終的搜索結果。緩存的大小是有限度的，不可能無限存儲數據。所以搜索引擎會採起緩存更新策略和緩存淘汰策略管理維護緩存區存儲的數據。搜索引擎緩存的價值搜索引擎緩存具備兩個價值：a、加快響應搜索用戶查詢的速度，提升搜索用戶體驗；b、減小搜索引擎後臺的計算量，節省計算資源。

七、排名結果顯示

根據信息的有效性、原創性、信息的承認度和網站自身權重給予相應的排名顯示。並查詢及點擊日誌，對搜索用戶的搜索作統計，最後根據該用戶搜索習慣給出相應結果