基本爬蟲框架

基本爬蟲框架包括五個模塊：爬蟲調度器、URL管理器、HTML下載器、HTML解析器、數據存儲器。 1. 爬蟲調度器負責統籌其他四個模塊協調工作。 2. URL管理器負責管理URL鏈接，包括已爬取的鏈接和未爬取的鏈接。 3. HTML下載器用於從URL管理器中獲取未爬取的鏈接並下載其HTML網頁。 4. HTML解析器用於解析HTML下載器下載的HTML網頁，獲取URL鏈接交給URL管理器，提取要獲

>>阅读原文<<