Scrapy學習筆記

一、爬蟲框架Scrapy總覽 圖片來源於網絡 上圖就是整個Scrapy的架構圖了，主要包括部分作用如下： Scrapy Engine：爬蟲引擎，負責制數據流在系統中所有組件中流動，並在相應動作發生時觸發事件。簡單來說，就是負責Spiders、ItemPipeline、Downloaders和Scheduler之間的信息傳遞。 Scheduler：調度器，負責接受引擎發送過來的requests請求，

>>阅读原文<<