python爬蟲基本流程-Python爬蟲之Scrapy框架基本流程

scrapy結構圖： scrapy組件： （1）ENGINE：引擎，框架的核心，其它所有組件在其控制下協同工作。 （2）SCHEDULER：調度器，負責對SPIDER提交的下載請求進行調度。 （3）DOWNLOADER：下載器，負責下載頁面（發送HTTP請求/接收HTTP響應）。 （4）SPIDER：爬蟲，負責提取頁面中的數據，併產生對新頁面的下載請求。 （5）MIDDLEWARE：中間件，負責對

>>阅读原文<<