scrapy框架組件

scrapy框架幾大組件介紹 scrapy是一個爬蟲框架，有着非常健全的管理系統，重要的是它支持分佈式。 1.引擎（scrapy engine）：負責爬蟲（spiders）、管道（itemPipline）、下載器（downloader）、調度器（scheduler）各個部分的通訊，信息、信號、數據等的傳遞。 2.調度器（scheduler）：負責接收引擎發過來的requests請求，並按一定的方法

>>阅读原文<<