Scrapy架構概覽

首先Spider發送第一個需要爬取的Requests給Engine,然後跳到4 Engine在Scheduler中對Requests進行調度, 並請求下一個需要爬取的Requests. Scheduler接受請求後, 返回下一個Requests給Engine. Engine收到Requests後, Requests經過Downloader Middlewares的process_request()

>>阅读原文<<