爬蟲——scrapy框架核心組件流程

流程： 引擎檢測起始列表的url,調用start_request方法對列表裏的url發起請求 start_urls = [‘https://www.qiushibaike.com/text/’] Spiders（爬蟲）將需要發送請求的url(requests)經ScrapyEngine（引擎）交給Scheduler（調度器）。 Scheduler（排序，入隊）處理後，經ScrapyEngine，D

>>阅读原文<<