Scrapy的基礎結構及請求流程

基礎結構 引擎 Engine 調度器 Scheduler 下載器 Downloader 爬蟲 Spider 管道 Pipeline 引擎 Engine 負責整個框架調度。 調度器 Scheduler 負責處理要請求的url，去除重複的請求，並確定下一個要請求的url。 下載器 Dwonloader 建立於高效異步模型twisted之上，負責高速下載網絡資源。 爬蟲 Spider 負責解析請求到的資

>>阅读原文<<