Scrapy框架的解析

1.ENGINE模塊：Scrapy框架的核心，控制所有模塊之間的數據流，根據各個模塊提供的事件進行觸發 2.DOWNLOADER模塊：根據用戶提供的請求下載網頁，功能單一，即 獲得請求—向網絡中提交請求—返回內容 DOWNLOADER模塊和ENGINE模塊之間的中間件Downloader Middleware： 目的：實施ENGINE,SCHEDULER,DOWNLOADER之間進行用戶可配置的控

>>阅读原文<<