Python爬蟲理論 | (9) Scrapy分佈式爬蟲

目錄git   1. 分佈式爬蟲原理github 2. Scrapy-redisredis 3. 分佈式環境搭建mongodb 4. 實戰數據庫 1. 分佈式爬蟲原理 分佈式爬蟲是將多臺主機組合起來，共同完成一個爬取任務。bash Scrapy單機爬蟲中有一個本地爬取隊列Queue。若是新的Request生成就會放到Queue裏面，隨後Request被Scheduler調度。以後，Request交

>>阅读原文<<