Scrapy框架的流程

 那麼 scrapy是如何幫助我們抓取數據的呢？ scrapy框架的工作流程：1.首先Spiders（爬蟲）將需要發送請求的url(requests)經ScrapyEngine（引擎）交給Scheduler（調度器）。 　　　　　　　　　　2.Scheduler（排序，入隊）處理後，經ScrapyEngine，DownloaderMiddlewares(可選，主要有User_Agent, Prox

>>阅读原文<<