網絡爬蟲本質

  http://blog.csdn.net/hguisu/article/details/7949844 該做者其餘文章也不錯 html   通用搜索引擎的處理對象是互聯網網頁，目前網頁數量以百億計，搜索引擎的網絡爬蟲可以高效地將海量的網頁數據傳下載到本地，在本地 造成互聯網網頁的鏡像備份。它是搜索引擎系統中很關鍵也很基礎的構件。算法 1. 網絡爬蟲本質就是瀏覽器http請求。      瀏覽器

>>阅读原文<<