Scrapy框架介紹

架構介紹 五個組件 Scrapy Engine（Scrapy引擎） Scheduler（調度器） Downloader（下載器） Spiders（蜘蛛） Item Pipeline（項目管道） 五大組件及其中間件的功能如下： Scrapy引擎：控制整個系統的數據處理流程，觸發事務處理流程，負責串聯各個模塊 Scheduler（調度器）：維護待爬取的URL隊列，當接受引擎發送的請求時，會從待爬取的U

>>阅读原文<<