Day66-75 - 網絡爬蟲和相關工具

網絡爬蟲 網絡爬蟲（web crawler），以前經常稱之爲網絡蜘蛛（spider），是按照一定的規則自動瀏覽萬維網並獲取信息的機器人程序（或腳本），曾經被廣泛的應用於互聯網搜索引擎。使用過互聯網和瀏覽器的人都知道，網頁中除了供用戶閱讀的文字信息之外，還包含一些超鏈接。網絡爬蟲系統正是通過網頁中的超鏈接信息不斷獲得網絡上的其它頁面。正因如此，網絡數據採集的過程就像一個爬蟲或者蜘蛛在網絡上漫遊，所以

>>阅读原文<<