scrapy 框架的工作流程

scrapy 框架的工作流程： 1，首先spider將需要發送請求的url 經scapyengin(引擎）交給scheduler（調度器） 2，調度器（排隊入隊）處理後，經引擎，Downloadermiddlewares（可選，主要有user-agent，proxy代理）交給downloader 3，downloader向互聯網發送請求，並接收下載相應（response），將響應（response

>>阅读原文<<