Scrapy框架原理及部件組成

1、Scrapy Engine（Scrapy引擎） Scrapy引擎是用來控制整個系統的數據處理流程，並進行事務處理的觸發。更多的詳細內容可以看下面的數據處理流程。 2、Scheduler（調度） 調度程序從Scrapy引擎接受請求並排序列入隊列，並在Scrapy引擎發出請求後返還給他們。 3、Downloader（下載器） 下載器的主要職責是抓取網頁並將網頁內容返還給蜘蛛( Spiders)。

>>阅读原文<<