9.6 搜索引擎

得到最廣泛使用的 Web 機器人都是因特網搜索引擎。 Web 爬蟲爲因特網搜索引擎提供信息，它們獲取 Web 上的文檔，並允許搜索引擎創索引，用以說明哪些文檔中有哪些詞存在。搜索引擎是 Web 機器人的主要來源——讓我們來快速瞭解一下它們是如何工作的。 1. 大格局 現在，Web 上有數十億可供訪問的頁面，搜索引擎已經成爲因特網用戶查找信息不可缺少的工具。 面對數十億的 Web 頁面，和數百萬要查

>>阅读原文<<