搜索引擎工作過程

第一步 爬行和抓取 1)搜索引擎用來爬行和訪問頁面的程序被稱爲蜘蛛(spider),也叫機器人(bot)。蜘蛛其實就是搜索引擎的手下,搜索引擎命令它到互聯網上瀏覽網頁,從而得到互聯網的所有數據,然後把這些數據存到搜索引擎自己的數據庫中。我們網站中不能有死鏈接。必須要讓蜘蛛在網站網站裏面暢通無阻的抓取頁面。 2)蜘蛛爬行的方法 不管是哪個級別的蜘蛛爬行的方法都是一樣的,一共分爲兩種:1、深度優先;2
相關文章
相關標籤/搜索