搜索引擎的工作流程

搜索引擎工作的大體流程是什麼樣子呢？我們可以理解爲三段式。 一.網頁蒐集 網頁蒐集，其實就是大家常說的蜘蛛抓取網頁。那麼對於蜘蛛（google稱之爲機器人）來說，他們感興趣的頁面分爲三類： 1.蜘蛛從未抓去過的新頁面。 2.蜘蛛抓去過，但頁面內容有改動的頁面。 3.蜘蛛抓取過，但現在已刪除了的頁面。 那麼如何行之有效的發現這三類頁面並進行抓取，就是spider程序設計的初衷與目的。那麼這裏就涉及到

>>阅读原文<<