關於使用scrapy_redis組件沒有存取scrapy的請求到redis數據庫的問題的解決

發現在使用scrapy_redis組件時，運行爬蟲時，在redis數據庫裏面只有items數據列表和去重指紋集合，但沒有scrapy的請求request數據列表，經過不斷測試，發現只有在停止爬蟲爬取時，纔可以在redis數據庫裏面看到scrapy的request數據列表。 爬取前的redis數據庫，裏面內容爲空。 數據爬取中時，觀察發現只有Items和dupefilter數據，但沒有scrapy

>>阅读原文<<