爬蟲-09-scrapy-redis分佈式爬蟲

正文 回到頂部 9-1 分佈式爬蟲要點 1.分佈式的優點 充分利用多機器的寬帶加速爬取 充分利用多機的IP加速爬取速度 問：爲什麼scrapy不支持分佈式？ 答：在scrapy中scheduler是運行在隊列的，而隊列是在單機內存中的，服務器上爬蟲是無法利用內存的隊列做任何處理，所以scrapy不支持分佈式。 2.分佈式需要解決的問題 requests隊列集中管理 去重集中管理 所以要用redis

>>阅读原文<<