理解Scrapy架構圖

Scrapy 使用了 Twisted['twɪstɪd](其主要對手是 Tornado)異步網絡框架來處理網絡通訊，可以加快我們的下載速度，不用自己去實現異步框架，並且包含了各種中間件接口，可以靈活的完成各種需求 Scrapy Engine: 負責 Spider、ItemPipeline、Downloader、Scheduler 中間的通訊，信號、數據傳遞等 Scheduler(調度器): 它負責

>>阅读原文<<