第二章 編寫Spider

1. Scrapy框架結構以及工作原理 組件 描述 類型 ENGINE 引擎,框架的核心,其他所有組件在其控制下協同工作 內部組件 SCHEDULER 調度器,負責對SPIDER提交的下載請求進行調度 內部組件 DOWNLOADER 下載器,負責下載頁面(發送HTTP請求/接收HTTP響應) 內部組件 SPIDER 爬蟲,負責提取頁面中的數據,併產生對新頁面的下載請求 用戶實現 MIDDLEWAR

>>阅读原文<<