scrapy-redis全部request爬取完畢，如何解決爬蟲空跑問題？

scrapy-redis全部request爬取完畢，如何解決爬蟲空跑問題？ 1. 背景 根據scrapy-redis分佈式爬蟲的原理，多臺爬蟲主機共享一個爬取隊列。當爬取隊列中存在request時，爬蟲就會取出request進行爬取，若是爬取隊列中不存在request時，爬蟲就會處於等待狀態，行以下：html E:\Miniconda\python.exe E:/PyCharmCode/redis

>>阅读原文<<