【python爬蟲學習筆記】08 Scrapy爬蟲框架結構及常用命令

Scrapy爬蟲的5+2結構 Engine 不需要用戶修改 控制所有模塊之間的數據流 根據條件觸發事件 Downloader 不需要用戶修改 根據請求下載網頁 Scheduler 不需要用戶修改 對所有爬取請求進行調度管理 Downloader Middleware 用戶可以編寫配置代碼 目的:實施Engine、Scheduler和Downloader之間進行用戶可配置的控制 功能:修改、丟棄、新

>>阅读原文<<