網絡爬蟲產生背景和麪臨的問題

網絡爬蟲（又稱爲網頁蜘蛛，網絡機器人，在FOFA社區中間，更經常的稱爲網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。   產生背景   隨着網絡的迅速發展，萬維網成爲大量信息的載體，如何有效地提取並利用這些信息成爲一個巨大的挑戰。搜索引擎(Search Engine)，例如傳統的通用搜索引擎AltaVista，Y

>>阅读原文<<