Scrapy請求丟失情況

請求丟失場景： 在項目運行的過程中，Ctrl+C 主動終止進程，或爬蟲代碼異常等程序非正常結束的情況下，獲取數據的過程沒有完成，但某個request對象已經從隊列中取出。此時fp指紋集合中已經存在了該指紋，再次啓動該項目時，因爲設置了請求去重，無法再發出該請求。 解決方案： 1.添加一個請求備份容器。 2.給request對象設置一個重試次數的屬性。

>>阅读原文<<