【系列】scrapy啓動流程源碼分析(6)Downloader下載器

6.Downloader下載器 Downloader包含了從調度器調取url以後到scraper獲取返回的網頁內容以前的全部步驟,關係到網頁如何下載,網絡通訊/HTTP協議/服務器等一系列知識,是最複雜的一部份內容。python Downloader初始化 在以前Crawler.crawl()建立ExecutionEngine執行引擎的時候,就已經初始化了Downloader對象。此對象在配置中定
相關文章
相關標籤/搜索