網絡爬蟲基本原理

 網絡爬蟲是捜索引擎抓取系統的重要組成部分。爬蟲的主要目的是將互聯網上的網頁下載到本地形成一個或聯網內容的鏡像備份。這篇博客主要對爬蟲以及抓取系統進行一個簡單的概述。 一、網絡爬蟲的基本結構及工作流程     一個通用的網絡爬蟲的框架如圖所示：     網絡爬蟲的基本工作流程如下：     1.首先選取一部分精心挑選的種子URL；     2.將這些URL放入待抓取URL隊列；     3.從待抓

>>阅读原文<<