Scrapy運行流程

Scrapy組件：數據庫 * 引擎【Engine】：處理整個系統的數據流處理 觸發事務 * 調度器【Scheduler】：接收Engine發來的請求並壓入隊列，在請求時執行出隊 * 下載器【Downloader】：經過Engine拿到調度器出隊的URL執行下載操做，並將response返回給Spiders * 爬蟲【Spiders】：從Downloader返回的response中提取item，即實

>>阅读原文<<