Scrapy框架解析

Engine (1) 控制所有模塊之間的數據流 (2)根據條件觸發事件 不需要用戶修改 Downloader 根據請求下載網頁 不需要用戶修改 Scheduler 對所有爬取請求進行調度管理 不需要用戶修改 Downloader Middleware 目的：事實Engine、Scheduler和Downloader之間進行用戶可配置的控制 功能：修改、丟棄、新增請求或響應 用戶可以編寫配置編碼 S

>>阅读原文<<