python網絡爬蟲（一）：網絡爬蟲科普與URL含義

1. 科普            通用搜索引擎處理的對象是互聯網的網頁，目前網頁的數量數以億計，所以搜索引擎面臨的第一個問題是如何設計出高效的下載系統，已將海量的網頁下載到本地，在本地形成互聯網網頁的鏡像。網絡爬蟲就是擔當此大任的。      抓取網頁的過程其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是一樣的。比如說你在瀏覽器的地址欄中輸入 www.baidu.com 這個地址。打開網頁的過程其實就

>>阅读原文<<