（python簡單的架構思想）爬蟲scrapy框架中的spider的底層是怎麼實現的

scrapy做爲爬蟲比較成熟框架，如今用的是最多的爬蟲框架，固然，除了本身開發的框架； crapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通信，信號、數據傳遞等。python Scheduler(調度器): 它負責接受引擎發送過來的Request請求，並按照必定的方式進行整理排列，入隊，當引擎須要時，交還給引擎。web D

>>阅读原文<<