搜索引擎工作過程

第一步 爬行和抓取 1）搜索引擎用來爬行和訪問頁面的程序被稱爲蜘蛛（spider），也叫機器人（bot）。蜘蛛其實就是搜索引擎的手下，搜索引擎命令它到互聯網上瀏覽網頁，從而得到互聯網的所有數據，然後把這些數據存到搜索引擎自己的數據庫中。我們網站中不能有死鏈接。必須要讓蜘蛛在網站網站裏面暢通無阻的抓取頁面。 2）蜘蛛爬行的方法 不管是哪個級別的蜘蛛爬行的方法都是一樣的，一共分爲兩種：1、深度優先；2

>>阅读原文<<